进行中

ARC Prize公布Inception Mercury 3的ARC-AGI推理token观察

报道
2
信源
1
首次报道
11/17 23:02
最近更新
11/17 23:02

ARC Prize 公布了 Inception AI 的 Mercury 3 Preview 在 ARC-AGI-1 和 ARC-AGI-2 任务上的推理 token 用量与得分观察,并将该模型收录进其排行榜。 ARC Prize 称,在 ARC-AGI-1 和 ARC-AGI-2 任务上,低推理强度与中等推理强度使用的推理 token 数量相近;例如在 ARC-AGI-1 公开任务上,两者平均每个任务均使用 31k 推理 token,得分分别为 89.50% 和 89.25%。

最新进展ARC Prize 榜单收录 Inception Mercury 3

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
2
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道2 篇

  • ARC Prize 榜单收录 Inception Mercury 3

    @_inception_ai - 排行榜:https://arcprize.org/leaderboard - 复现公开结果:https://github.com/arcprize/arc-agi-benchmarking - 测试政策:https://arcprize.org/policy - Mercury 3 Preview 完整结果:https://arcprize.org/results/inception-mercury-3-preview

    ARC Prize

  • Inception AI 在 ARC-AGI 上的推理 token 观察

    @_inception_ai 我们还观察到,在 ARC-AGI-1 和 ARC-AGI-2 任务上,低推理强度与中等推理强度使用的推理 token 数量相近。例如在 ARC-AGI-1 公开任务上,两者平均每个任务均使用 31k 推理 token,得分分别为 89.50% 和 89.25%。

    ARC Prize

ARC Prize 公布 Mercury 3 Preview 评测结果#推理能力#评测基准#论文研究