精选论文62
OpenAI 研究模型生命周期中哪些因素影响 CoT 可监控性
原标题:What Affects CoT Monitorability Across The Model Lifecycle?
OpenAI 对齐研究博客发布研究,考察预训练、架构、强化学习和模型生成数据如何影响 CoT 可监控性的两个代理指标:无 CoT 能力与 CoT 可控性。结果显示,基础模型困惑度下降会稳定提升无 CoT 能力,强化学习会提高 CoT 可控性,且可控性可通过模型生成数据的 SFT 从教师模型传递给学生模型。
推荐理由OpenAI 用预训练、架构、RL 与模型生成数据四条线索,解释 CoT 可监控性为何随模型变强而下降。
来源仅允许展示摘要,全文请到原文阅读。
