精选论文64

OpenAI 与 Apollo 提出 Contrastive SDF,测量模型的奖励寻求倾向

原标题:Measuring Reward-Seeking by Instilling Contrastive Beliefs

OpenAI 对齐研究博客· Axel Højmark, Jérémy Scheurer, Jenny Nitishinskaya, Felix Hofstätter, Jason Wolfe, Theodore Ehrenborg, Bronson Schoen, Alexander Meinke发布时间 (北京时间)

OpenAI 对齐研究博客与 Apollo Research 提出 Contrastive Synthetic Document Finetuning(Contrastive SDF),通过给同一模型的两份副本分别注入相反的评分者偏好信念,测量模型行为随评分者信念变化的程度,以此量化奖励寻求。

推荐理由OpenAI 与 Apollo 提出用对比式合成文档微调测量模型的奖励寻求倾向,并给出该方法在 o3 RL 检查点上的训练趋势证据。

来源仅允许展示摘要,全文请到原文阅读。
OpenAI / ChatGPT数据与训练安全对齐论文研究#论文/研究#安全/对齐#数据/训练#OpenAI