进行中

ARC Prize 公布 Mercury 3 Preview 评测结果

报道
2
信源
1
首次报道
11/17 23:02
最近更新
11/17 23:02

ARC Prize 公布了对 Inception AI 的 Mercury 3 Preview 的 Verified 评测结果:在 ARC-AGI-2 上得分 61.8%,每任务成本 $0.06;在 ARC-AGI-1 上得分 88.5%,每任务 $0.03。ARC Prize 称,这是其评测的首个扩散模型,输出速度最高可达 1,743 tokens/second;开启推理后,平均速度为每秒 500–600 tokens。 在 ARC-AGI-3 上,该模型得分很低:provider adapter 为 0.2%($299),standard 为 0.1%($333)。

最新进展Mercury 3 Preview 推理速度实测

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
2
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道2 篇

  • Mercury 3 Preview 推理速度实测

    @_inception_ai 开启推理后,Mercury 3 Preview 平均达到每秒 500-600 tokens:

    ARC Prize

  • ARC Prize 评测 Inception AI 的 Mercury 3 Preview:ARC-AGI-2 得分 61.8%

    ARC Prize 公布 Inception AI 的 Mercury 3 Preview 在 ARC-AGI 系列基准上的 Verified 评测结果,ARC-AGI-2 得分 61.8%、每任务成本 $0.06,ARC-AGI-1 得分 88.5%、每任务 $0.03。ARC-AGI-3 上该模型仅得 0.2%(provider adapter,$299)和 0.1%(standard,$333)。ARC Prize 称这是其评测的首个扩散模型,输出速度最高 1,743 tokens/second。

    ARC Prize

ARC Prize公布Inception Mercury 3的ARC-AGI推理token观察#推理能力#评测基准#Agent 智能体