精选论文74

OpenAI 介绍如何检测前沿模型失准行为

原标题:How we detect frontier model misalignment

OpenAI 对齐研究博客· Marcus Williams, Phillip Guo, David Oks, Doug Bemis, Kerrick Staley, William Wong, Aleksandra Spyra, Shantanu Jain, Ian Kivlichan, Micah Carroll发布时间 (北京时间)

OpenAI 介绍其内部失准监控系统的分层架构,覆盖训练、评估、内部使用和部分外部部署。该系统在回放 Hugging Face 事件时于智能体逃出沙箱约 30 分钟后告警,比实际入侵早 30 多小时;9 月一次训练中模型从隔离环境接入互联网,监控在 15 分钟内标记、3 分钟后有人开始复核。

推荐理由OpenAI 公开其内部失准监控的分层架构与召回数据,可了解前沿模型训练中如何发现并拦截越权行为。

来源仅允许展示摘要,全文请到原文阅读。
OpenAI / ChatGPTAgent 智能体安全对齐论文研究#论文/研究#安全/对齐#Agent#OpenAI