内容类型
评测基准
模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。
近 30 天 20 条共 26 条精选收录 246 条
精选新闻
Epoch AI 基准显示 GPT-6.2 Astra 在 FrontierMath Erdős 解出 7/68 题
Epoch AI 称 GPT-6.2 Astra 在其 FrontierMath Erdős 基准上创下新纪录,在每题约 240 美元预算下解出 68 道题中的 7 道,且每道解都经 Lean 形式化验证,其中一道此前无人解出。该基准由截至 2026 年 8 月仍未解决的精选数学题构成,此前纪录为 GPT-6.1 Sol 的 3/68。
Epoch AI
微软 MAI-Image-2.7 结束预览,登顶图像竞技场性价比前沿
微软 MAI-Image-2.7 结束预览,在三个 Image Arena 榜单上均处于性价比前沿,每张图定价 0.035 美元。该模型在 Multi-Image Edit 排第 3、Single Image Edit 第 4、Text-to-Image 第 4,整体较 MAI-Image-2.6 提升约 50 分。单项提升最大的是 Single Image Edit,其中写实与电影感图像从第 8 升至第 3,文字渲染从第 13 升至第 4。
Arena.ai
GitHub Copilot Fusion 扩展可用平台并新增模型,公布 Terminal-Bench 4.1 成绩
GitHub 扩展 Copilot Fusion,新增模型并登陆 github.com、Visual Studio 和 GitHub Mobile beta。Copilot Fusion Max 在 Terminal-Bench 4.1 上取得 71.2% 的解决率,比 Opus 5.5 和 Fable 5.2 高 5.4 个百分点,成本分别低 57% 和 88%。
GitHub Changelog · Copilot
Artificial Analysis 评测 GPT-6.2 Astra 与 Sol:智能指数第二,编码未见提升
Artificial Analysis 评测显示,OpenAI 发布的 GPT-6.2 Astra 与 GPT-6.2 Sol 在 Artificial Analysis Intelligence Index 中位列第二,仅次于 Claude Fable 5.2。
Artificial Analysis
OpenAI 发布 GPT-6.2 Astra,Agents' Last Exam 得分较 GPT-6 Astra 高 5.2 分
OpenAI 发布 GPT-6.2 Astra,在 Agents' Last Exam 上创下新高,得分比 GPT-6 Astra 高 5.2 分,且每任务成本不到后者的三分之一。该基准测试分析营销活动、制作幻灯片、搭建财务表格等复杂多步专业工作。
OpenAI Developers
OpenAI GPT-6.2 Astra 与 Sol 接入 Arena 的 Agent Arena
Arena.ai 宣布 OpenAI 的 GPT-6.2 Astra 与 Sol 已接入 Arena,可在 Agent Arena 中试用,分数稍后公布。Agent Arena 基于全球用户提交的数百万个真实长程智能体任务评测模型,模型可调用网页搜索、文件系统和终端工具,榜单用因果追踪方法衡量模型相对平均模型的结果表现。
Arena.ai
ARC Prize 公布 GPT-6.2 Astra 在 ARC-AGI 各代基准上的成绩
ARC Prize 公布 OpenAI 的 GPT-6.2 Astra 在 ARC-AGI 各代基准上的成绩:ARC-AGI-3 达到 100.0%(SOTA),provider adapter 下成本 $4.1K,standard 下为 70.3%、$24.2K;ARC-AGI-2 为 95.8%(SOTA),$0.50/task;ARC-AGI-1 为 98.5%,$0.17/task。ARC Prize 称 GPT-6.2 Astra 是首个在 ARC-AGI-3 上拿到 100% 分数的模型。
ARC Prize
ARC Prize 介绍 Inkling 2 Small 在 ARC-AGI-1 与 ARC-AGI-2 上的评测表现
ARC Prize 发文介绍 Thinking Machines 的 Inkling 2 Small 在 ARC-AGI-1 与 ARC-AGI-2 上的评测表现。引用数据显示,该模型在 ARC-AGI-2 上得分 81.7%、每任务成本 $0.27,在 ARC-AGI-1 上得分 96.5%、每任务成本 $0.08,在两个基准上均超过 ARC Prize 评测过的所有开放权重模型。Thinking Machines 计划下周发布完整权重。
ARC Prize
Arena:Meta 的 Muse Ember 改写 Code Arena WebDev 性价比前沿
Arena.ai 称 Meta 的 Muse Ember 改写了 Code Arena: WebDev 的帕累托前沿。
Arena.ai
Google 发布 Gemini 4 Carbon 与 Hydrogen 两款模型及 Decisions API
Google 上周发布两款 Gemini 4 模型:面向仓库级工程与安全审计的 Gemini 4 Carbon,以及面向日常编码和智能体工作流的 Gemini 4 Hydrogen,二者共享 1M token 上下文窗口。
Philipp Schmid
Qwen4-Max 在 Agent Arena 较 Qwen3.8-Max 净提升 7.5%,阿里升至第 5
Qwen 宣布 Qwen4-Max 在 Agent Arena 上较 Qwen3.8-Max 净提升 7.5%,阿里整体升至第 5 位实验室。引用的榜单信息显示,该模型综合排名从第 39 升至第 14,基于 14.7k 真实智能体会话;四项信号均有提升,其中 Praise vs. Complaint +13%、Confirmed Success +9%、Steerability +8%、Bash Reliability +3%,在 Work、Chat、Code 三类中分别为第 12、第 14、第 16。
Qwen
https://x.com/arena/status/2120568144687460434?a=KMB_myHkZq3NfqAnffE&s=20
https://x.com/arena/status/2120568144687460434?a=KMB_myHkZq3NfqAnffE&s=20
Arena.ai
Cursor 上线 Gemini 4 Hydrogen
Cursor 宣布 Gemini 4 Hydrogen 已在其产品中可用。在默认 effort 设置下,该模型在 CursorBench 上得分 54.3%,高于 Gemini 3.8 Flash 的 39.6%。
Cursor
Google 发布 Gemini 4 Hydrogen 模型
Google 在 Google AI Studio 和 Gemini API 上线 Gemini 4 Hydrogen,作者称其已成为日常快速执行与研究循环的主力模型,也适合作为子智能体与 Carbon 搭配。
Philipp Schmid
ARC Prize 公布 Gemini 4 Carbon 在 ARC-AGI 三代基准上的成绩与成本
ARC Prize 公布 Google Gemini 4 Carbon 在 ARC-AGI 系列基准上的 Verified 成绩:ARC-AGI-3 在 provider adapter 下得分 99.1%、成本 $4.6K,在 standard harness 下得分 65.1%、成本 $7.2K;ARC-AGI-2 得分 94.2%、$0.38/task;ARC-AGI-1 得分 98.5%、$0.16/task。在 standard harness 下,Carbon 比前代 Argon 在 ARC-AGI-3 上高出 18 个百分点。
ARC Prize
Gemini 4 Carbon 上线 Cursor,CursorBench 得分 60.4% 居首
Gemini 4 Carbon 已在 Cursor 上线,在高 effort 设置下以 60.4% 的成绩位列 CursorBench 第一。Philipp Schmid 转述 Cursor 官方消息并邀请用户试用。
Philipp Schmid
ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 各代基准上的成绩
ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 系列基准上的成绩:ARC-AGI-3 在 provider adapter harness 下为 97.7%、花费 $18.6K,在标准 harness 下为 81.2%、花费 $21.9K;ARC-AGI-2 为 93.8%、$0.98/task;ARC-AGI-1 为 98.5%、$0.36/task。ARC Prize 称 Fable 5.2 在标准 harness 下刷新了 ARC-AGI-3 的最高分。
ARC Prize
Together AI 发布 Together Compiler,持续编译优化 AI 推理
Together AI 发布 Together Compiler(TKCC),用高吞吐智能体在不到 24 小时内为不同推理负载生成优化,在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上实现最高 2.6x 的 TPS 提升。
Together AI Blog
Google 发布 Gemini 4 Carbon,称在 cyber 与长程任务上达到 SOTA
Google 发布 Gemini 4 Carbon,作者称其相较两周前发布的 Argon 是一次大幅跃升。该模型在 cyber 与长程任务上达到 SOTA,在 Artificial Analysis V5 上排名第 1,在编码等领域的可用性显著提升,并且对齐表现更好。
Logan Kilpatrick
微软 MAI-Image-2.7-Preview 发布,在 AA-Image-Editing 榜单排名第二
微软 AI 发布图像编辑模型 MAI-Image-2.7-Preview,在 Artificial Analysis 的 AA-Image-Editing v2.1 榜单上排名第二,仅次于 OpenAI 的 GPT Image 2.5 Sunburst(max),较 8 月发布的 MAI-Image-2.6 有明显提升。该模型在评测覆盖的 7 项编辑动作上全部优于 MAI-Image-2.6,其中构图与取景(+57 Elo)、文字或符号编辑(+49)、场景与风格编辑(+48)提升最大,并在场景与风格编辑、文字或符号编辑、基于推理的编辑、增强与修复 4 项上排名第一。目前该模型已在 MAI Playground 开放图像编辑功能,文生图功能据称即将上线。
Mustafa Suleyman
