模型58

ARC Prize 评测 Inception AI 的 Mercury 3 Preview:ARC-AGI-2 得分 61.8%

原标题:Mercury 3 Preview from @_inception_ai on ARC-AGI (Verified):

ARC Prize@arcprize发布时间 (北京时间)

ARC Prize 公布 Inception AI 的 Mercury 3 Preview 在 ARC-AGI 系列基准上的 Verified 评测结果,ARC-AGI-2 得分 61.8%、每任务成本 $0.06,ARC-AGI-1 得分 88.5%、每任务 $0.03。ARC-AGI-3 上该模型仅得 0.2%(provider adapter,$299)和 0.1%(standard,$333)。ARC Prize 称这是其评测的首个扩散模型,输出速度最高 1,743 tokens/second。

中文译文尚未完成,先为你展示原文。

Mercury 3 Preview from @_inception_ai on ARC-AGI (Verified):

  • ARC-AGI-3: 0.2%, $299 (provider adapter), 0.1%, $333 (standard)
  • ARC-AGI-2: 61.8%, $0.06/task
  • ARC-AGI-1: 88.5%, $0.03/task

It is the first diffusion model we've evaluated, delivering up to 1,743 tokens/second.

Agent 智能体推理能力评测基准#评测/基准#推理#Agent

同一件事的其他报道1 篇