精选论文62

OpenAI 研究模型生命周期中哪些因素影响 CoT 可监控性

原标题:What Affects CoT Monitorability Across The Model Lifecycle?

OpenAI 对齐研究博客· OpenAI发布时间 (北京时间)

OpenAI 对齐研究博客发布研究,考察预训练、架构、强化学习和模型生成数据如何影响 CoT 可监控性的两个代理指标:无 CoT 能力与 CoT 可控性。结果显示,基础模型困惑度下降会稳定提升无 CoT 能力,强化学习会提高 CoT 可控性,且可控性可通过模型生成数据的 SFT 从教师模型传递给学生模型。

推荐理由OpenAI 用预训练、架构、RL 与模型生成数据四条线索,解释 CoT 可监控性为何随模型变强而下降。

来源仅允许展示摘要,全文请到原文阅读。
OpenAI / ChatGPT推理能力安全对齐论文研究#论文/研究#安全/对齐#推理#OpenAI