精选模型
85AI 评分(两次独立评分的平均)

Gemini 4 Hydrogen 在 ARC-AGI 两项基准上的成绩与成本公布

原标题:Gemini 4 Hydrogen from @GoogleDeepMind on ARC-AGI (Verified):

ARC Prize@arcprize发布时间 (北京时间)

AI 速览

根据原文整理 · 原文约 1 分钟

Gemini 4 Hydrogen 在 ARC-AGI-2 得 92.5%、ARC-AGI-1 得 98.5%,推理 token 比 Gemini 3.8 Flash 少约 52%。

ARC-AGI-2 得分
92.5%
AGI-2 单任务成本
$1.26
ARC-AGI-1 得分
98.5%
AGI-1 单任务成本
$0.18
成绩
ARC Prize 验证:ARC-AGI-2 得分 92.5%,ARC-AGI-1 得分 98.5%。
成本
两项基准每任务成本分别为 $1.26 和 $0.18。
效率
高推理模式下追平或超过 Gemini 3.8 Flash,推理 token 少约 52%。
对比
排行榜散点图按每任务成本与得分比较,Gemini 4 Hydrogen 标注约 92%。

为什么值得看为关注推理模型性价比的开发者提供 ARC-AGI 上的分数与单任务成本参照。

由 AI 阅读原文后整理,可能有疏漏,细节以原文为准。
含帖子图片中的信息(AI 识别)

来自 @GoogleDeepMind 的 Gemini 4 Hydrogen 在 ARC-AGI(已验证)上的表现:

  • ARC-AGI-2:92.5%,$1.26/任务
  • ARC-AGI-1:98.5%,$0.18/任务

Gemini 4 Hydrogen 在高推理模式下于两项基准测试中的得分均达到或超过 Gemini 3.8 Flash,同时使用的推理 token 数量减少了约 52%。

Google / Gemini推理能力评测基准#评测/基准#Google#推理

同一件事的其他报道1 篇