进行中
alphaXiv发布自动科研开源基准首轮评测
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/21 05:29
- 最近更新
- 11/21 05:29
alphaXiv 发布开源基准 OpenResearch Intelligence Index,用于端到端自动科研评测,并公布首轮 8 个模型的成绩。该基准包含 20 个 Terminal-Bench-Science 任务、6 个新后训练任务和 PaperFindingBench 子集,评测在 Together AI 上运行,覆盖 8 个模型、6 家提供商,token 花费约 7400 美元。 首轮结果中,Opus 5.5 以 61.8% 得分最高,每任务成本 16.46 美元;GPT-6.1 Sol 得分 54.9%,每任务仅 3.83 美元。alphaXiv 称更多模型和源代码将随后发布。
最新进展alphaXiv 发布 OpenResearch Intelligence Index,在 Together AI 上评测 8 个模型
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 1
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Together AI 等 1 篇报道
全部报道1 篇
alphaXiv 发布 OpenResearch Intelligence Index,在 Together AI 上评测 8 个模型
alphaXiv 发布开源基准 OpenResearch Intelligence Index,用于端到端自动科研评测,并在 Together AI 上运行。该基准包含 20 个 Terminal-Bench-Science 任务、6 个新后训练任务和 PaperFindingBench 子集,覆盖 8 个模型、6 家提供商,token 花费约 $7.4k。Opus 5.5 以 61.8% 得分最高、每任务 $16.46,GPT-6.1 Sol 得分 54.9%、每任务仅 $3.83。
Together AI
相关
#Agent 智能体#数据与训练#论文研究#评测基准
