精选模型70

ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 各代基准上的成绩

原标题:Claude Fable 5.2 from @AnthropicAI on ARC-AGI (Verified):

ARC Prize@arcprize发布时间 (北京时间)

ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 系列基准上的成绩:ARC-AGI-3 在 provider adapter harness 下为 97.7%、花费 $18.6K,在标准 harness 下为 81.2%、花费 $21.9K;ARC-AGI-2 为 93.8%、$0.98/task;ARC-AGI-1 为 98.5%、$0.36/task。ARC Prize 称 Fable 5.2 在标准 harness 下刷新了 ARC-AGI-3 的最高分。

推荐理由ARC Prize 给出 Claude Fable 5.2 在 ARC-AGI 三代基准上的分数与单任务成本,可横向比较不同 harness 下的表现差异。

Claude Fable 5.2 from @AnthropicAI on ARC-AGI (Verified):

  • ARC-AGI-3: 97.7%, $18.6K (provider adapter harness), 81.2%, $21.9K (standard harness)
  • ARC-AGI-2: 93.8%, $0.98/task
  • ARC-AGI-1: 98.5%, $0.36/task

Fable 5.2 sets a new high score on ARC-AGI-3 in the standard harness.

Anthropic / Claude评测基准#评测/基准#Anthropic