论文
62AI 评分(两次独立评分的平均)

METR 更新 AI 时间跨度图,新增开放式任务评测

原标题:The most misunderstood graph in AI just got a major update

MIT Technology Review · AI· Grace Huckins发布时间 (北京时间)

AI 评测非营利组织 METR 发布报告,更新其被广泛误读的时间跨度图,新增了耗时更长和更开放的任务。结果显示模型在需要判断力的任务上仍不及人类,例如没有一个 AI 设计的评测被 METR 员工认为可用于研究,哲学论证打分任务也低于人类水平;但最新模型如 Opus 5.5 已在评测设计任务上达到“略高于门槛”的水平,而一年前所有模型都处于“明显低于门槛”。

来源仅允许展示摘要,全文请到原文阅读。

数据与训练论文研究评测基准#论文/研究#评测/基准#数据/训练