进行中

ARC Prize公布Gemini 4 Hydrogen评测结果

报道
4
信源
1
首次报道
11/21 00:57
最近更新
11/21 00:57

ARC Prize 公布 Google DeepMind 的 Gemini 4 Hydrogen 在 ARC-AGI 基准上的验证成绩:ARC-AGI-2 得分 92.5%、每任务成本 $1.26,ARC-AGI-1 得分 98.5%、每任务 $0.18。ARC Prize 称,在高推理模式下,该模型在两项基准上追平或超过 Gemini 3.8 Flash,同时推理 token 用量减少约 52%。 在 ARC-AGI-2 的分档对比中,Gemini 4 Hydrogen 在中等推理档位得 89.2%,高于 Gemini 3.8 Flash 的 82.9%;在高推理档位得 90.0%,也高于后者的 89.2%;但在低推理档位仅得 65.8%,低于 Gemini 3.8 Flash 的 77.5%。Gemini 4 Hydrogen 另新增了 Gemini 3.8 Flash 不具备的 xhigh 推理档位。 ARC Prize 称,在 ARC-AGI-3 测试期间遇到 API 问题,导致测试未能完成:该基准期望响应是包含单个动作的字符串,而 Gemini 4 Hydrogen 经常返回包含多个动作的函数调用。

最新进展Gemini 4 Hydrogen ARC 基准结果公布

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
1
24 小时新报道
4
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展3 个阶段

全部报道4 篇

  • Gemini 4 Hydrogen ARC 基准结果公布

    @GoogleDeepMind - 排行榜:https://arcprize.org/leaderboard - 复现公开结果:https://github.com/arcprize/arc-agi-benchmarking - 测试政策:https://arcprize.org/policy - Gemini 4 Hydrogen 完整结果:https://arcprize.org/results/google-gemini-4-hydrogen

    ARC Prize

  • ARC-AGI-3 测试遇 Gemini API 问题

    @GoogleDeepMind 在 ARC-AGI-3 测试期间,我们遇到了 API 问题,导致无法完成测试。 例如,ARC-AGI-3 期望响应是包含单个动作的字符串,但 Gemini 4 Hydrogen 经常返回包含多个动作的函数调用。

    ARC Prize

  • ARC Prize 对比 Gemini 4 Hydrogen 与 Gemini 3.8 Flash 在 ARC-AGI-2 上的表现

    ARC Prize 公布 Gemini 4 Hydrogen 与 Gemini 3.8 Flash 在 ARC-AGI-2 上的对比结果:中等推理档位下 Gemini 4 Hydrogen 得 89.2%,Gemini 3.8 Flash 得 82.9%;高推理档位下两者分别为 90.0% 和 89.2%;低推理档位下 Gemini 4 Hydrogen 为 65.8%,低于 Gemini 3.8 Flash 的 77.5%。Gemini 4 Hydrogen 还新增了 Gemini 3.8 Flash 不具备的 xhigh 推理档位。

    ARC Prize

  • Gemini 4 Hydrogen 在 ARC-AGI 两项基准上的成绩与成本公布

    ARC Prize 公布 Google DeepMind 的 Gemini 4 Hydrogen 在 ARC-AGI 上的验证成绩:ARC-AGI-2 得分 92.5%、每任务 $1.26,ARC-AGI-1 得分 98.5%、每任务 $0.18。在高推理模式下,它在两项基准上追平或超过 Gemini 3.8 Flash,同时推理 token 用量减少约 52%。

    ARC Prize精选

#Google / Gemini#评测基准#推理能力#行业动态