精选模型70
ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 各代基准上的成绩
原标题:Claude Fable 5.2 from @AnthropicAI on ARC-AGI (Verified):
ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 系列基准上的成绩:ARC-AGI-3 在 provider adapter harness 下为 97.7%、花费 $18.6K,在标准 harness 下为 81.2%、花费 $21.9K;ARC-AGI-2 为 93.8%、$0.98/task;ARC-AGI-1 为 98.5%、$0.36/task。ARC Prize 称 Fable 5.2 在标准 harness 下刷新了 ARC-AGI-3 的最高分。
推荐理由ARC Prize 给出 Claude Fable 5.2 在 ARC-AGI 三代基准上的分数与单任务成本,可横向比较不同 harness 下的表现差异。
来自 @AnthropicAI 的 Claude Fable 5.2 在 ARC-AGI(已验证)上的表现:
- ARC-AGI-3:97.7%,$18.6K(provider adapter harness),81.2%,$21.9K(标准 harness)
- ARC-AGI-2:93.8%,$0.98/任务
- ARC-AGI-1:98.5%,$0.36/任务
Fable 5.2 在标准 harness 下于 ARC-AGI-3 上创下新高分。
