进行中
ARC Prize公布Gemini 4 Hydrogen评测结果
- 报道
- 4
- 信源
- 1
- 首次报道
- 11/21 00:57
- 最近更新
- 11/21 00:57
ARC Prize 公布 Google DeepMind 的 Gemini 4 Hydrogen 在 ARC-AGI 基准上的验证成绩:ARC-AGI-2 得分 92.5%、每任务成本 $1.26,ARC-AGI-1 得分 98.5%、每任务 $0.18。ARC Prize 称,在高推理模式下,该模型在两项基准上追平或超过 Gemini 3.8 Flash,同时推理 token 用量减少约 52%。 在 ARC-AGI-2 的分档对比中,Gemini 4 Hydrogen 在中等推理档位得 89.2%,高于 Gemini 3.8 Flash 的 82.9%;在高推理档位得 90.0%,也高于后者的 89.2%;但在低推理档位仅得 65.8%,低于 Gemini 3.8 Flash 的 77.5%。Gemini 4 Hydrogen 另新增了 Gemini 3.8 Flash 不具备的 xhigh 推理档位。 ARC Prize 称,在 ARC-AGI-3 测试期间遇到 API 问题,导致测试未能完成:该基准期望响应是包含单个动作的字符串,而 Gemini 4 Hydrogen 经常返回包含多个动作的函数调用。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 1
- 24 小时新报道
- 4
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展3 个阶段
ARC Prize公布Gemini 4 Hydrogen的ARC-AGI评测结果
ARC Prize 等 1 篇报道
ARC Prize 披露 Gemini 4 Hydrogen 测试遇 API 问题
ARC Prize 等 1 篇报道
ARC Prize公布Gemini 4 Hydrogen在ARC-AGI基准成绩
ARC Prize 等 2 篇报道
全部报道4 篇
@GoogleDeepMind - 排行榜:https://arcprize.org/leaderboard - 复现公开结果:https://github.com/arcprize/arc-agi-benchmarking - 测试政策:https://arcprize.org/policy - Gemini 4 Hydrogen 完整结果:https://arcprize.org/results/google-gemini-4-hydrogen
ARC Prize
@GoogleDeepMind 在 ARC-AGI-3 测试期间,我们遇到了 API 问题,导致无法完成测试。 例如,ARC-AGI-3 期望响应是包含单个动作的字符串,但 Gemini 4 Hydrogen 经常返回包含多个动作的函数调用。
ARC Prize
ARC Prize 对比 Gemini 4 Hydrogen 与 Gemini 3.8 Flash 在 ARC-AGI-2 上的表现
ARC Prize 公布 Gemini 4 Hydrogen 与 Gemini 3.8 Flash 在 ARC-AGI-2 上的对比结果:中等推理档位下 Gemini 4 Hydrogen 得 89.2%,Gemini 3.8 Flash 得 82.9%;高推理档位下两者分别为 90.0% 和 89.2%;低推理档位下 Gemini 4 Hydrogen 为 65.8%,低于 Gemini 3.8 Flash 的 77.5%。Gemini 4 Hydrogen 还新增了 Gemini 3.8 Flash 不具备的 xhigh 推理档位。
ARC Prize
Gemini 4 Hydrogen 在 ARC-AGI 两项基准上的成绩与成本公布
ARC Prize 公布 Google DeepMind 的 Gemini 4 Hydrogen 在 ARC-AGI 上的验证成绩:ARC-AGI-2 得分 92.5%、每任务 $1.26,ARC-AGI-1 得分 98.5%、每任务 $0.18。在高推理模式下,它在两项基准上追平或超过 Gemini 3.8 Flash,同时推理 token 用量减少约 52%。
ARC Prize精选
