观察中

ARC Prize公布Inkling 2 Small评测成绩

报道
3
信源
1
首次报道
11/17 05:29
最近更新
11/17 05:29

ARC Prize 公布了 Thinking Machines 的 Inkling 2 Small 在 ARC-AGI 各基准上的验证成绩:ARC-AGI-1 得分 96.5%、每任务成本 $0.08,ARC-AGI-2 得分 81.7%、每任务成本 $0.27,两项均超过 ARC Prize 评测过的所有开放权重模型,也高于 DeepSeek V4.1 Flash 1017 的 94.5% 和 78.1%。 但在 ARC-AGI-3 上,Inkling 2 Small 仅得 2.6%(provider adapter,总计 $704)或 0.3%(standard,总计 $858),落后于 DeepSeek V4.1 Flash 1017 的 5.8%。Thinking Machines 计划下周发布完整权重。

最新进展ARC-AGI-3 公开榜单与复现资源

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
0
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道3 篇

  • ARC-AGI-3 公开榜单与复现资源

    @thinkymachines - 排行榜:https://arcprize.org/leaderboard - 复现 ARC-AGI-3 公开结果:https://github.com/arcprize/arc-agi-3-benchmarking - 测试政策:https://arcprize.org/policy - Inkling 2 Small 完整结果:https://arcprize.org/results/thinky-inkling-2-small

    ARC Prize

  • ARC Prize 介绍 Inkling 2 Small 在 ARC-AGI-1 与 ARC-AGI-2 上的评测表现

    ARC Prize 发文介绍 Thinking Machines 的 Inkling 2 Small 在 ARC-AGI-1 与 ARC-AGI-2 上的评测表现。引用数据显示,该模型在 ARC-AGI-2 上得分 81.7%、每任务成本 $0.27,在 ARC-AGI-1 上得分 96.5%、每任务成本 $0.08,在两个基准上均超过 ARC Prize 评测过的所有开放权重模型。Thinking Machines 计划下周发布完整权重。

    ARC Prize精选

  • Inkling 2 Small 的 ARC-AGI 成绩

    来自 @thinkymachines 的 Inkling 2 Small 在 ARC-AGI(已验证)上的表现: - ARC-AGI-3:2.6%,总计 $704(provider adapter);0.3%,总计 $858(standard) 它在 ARC-AGI-1(96.5% vs 94.5%)和 ARC-AGI-2(81.7% vs 78.1%)上击败了 DeepSeek V4.1 Flash 1017,但在 ARC-AGI-3 上落后(2.6% vs 5.8%)。

    ARC Prize

#评测基准#Agent 智能体#推理能力