进行中

alphaXiv发布自动科研开源基准首轮评测

报道
1
信源
1
首次报道
11/21 05:29
最近更新
11/21 05:29

alphaXiv 发布开源基准 OpenResearch Intelligence Index,用于端到端自动科研评测,并公布首轮 8 个模型的成绩。该基准包含 20 个 Terminal-Bench-Science 任务、6 个新后训练任务和 PaperFindingBench 子集,评测在 Together AI 上运行,覆盖 8 个模型、6 家提供商,token 花费约 7400 美元。 首轮结果中,Opus 5.5 以 61.8% 得分最高,每任务成本 16.46 美元;GPT-6.1 Sol 得分 54.9%,每任务仅 3.83 美元。alphaXiv 称更多模型和源代码将随后发布。

最新进展alphaXiv 发布 OpenResearch Intelligence Index,在 Together AI 上评测 8 个模型

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
1
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道1 篇

  • alphaXiv 发布 OpenResearch Intelligence Index,在 Together AI 上评测 8 个模型

    alphaXiv 发布开源基准 OpenResearch Intelligence Index,用于端到端自动科研评测,并在 Together AI 上运行。该基准包含 20 个 Terminal-Bench-Science 任务、6 个新后训练任务和 PaperFindingBench 子集,覆盖 8 个模型、6 家提供商,token 花费约 $7.4k。Opus 5.5 以 61.8% 得分最高、每任务 $16.46,GPT-6.1 Sol 得分 54.9%、每任务仅 $3.83。

    Together AI

#Agent 智能体#数据与训练#论文研究#评测基准