进行中

METR:任务耗时并非难度可靠标尺

报道
2
信源
1
首次报道
11/21 03:44
最近更新
11/21 03:44

METR 在社交平台 X 上表示,任务耗时并不总是一个表现良好的难度轴:在人类完成所需时间相近的任务之间,模型表现可能差异很大,而不同任务分布下的倍增时间也各不相同。 METR 称,其已在自身任务上拟合了一个模型能力指标,作为模型能力的替代衡量方式。该指标与 Epoch 的 ECI 类似,直接从智能体在各任务上的得分来估计任务难度和智能体能力,因此不需要人工时间估算。

最新进展METR 提出模型能力新指标

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
1
24 小时新报道
2
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道2 篇

  • METR 提出模型能力新指标

    我们在自己的任务上拟合了一个模型能力指标,作为模型能力的替代衡量方式。与 Epoch 的 ECI 类似,该指标直接从智能体在各任务上的得分来估计任务难度和智能体能力,因此不需要人工时间估算。 https://x.com/EpochAIResearch/status/1982888284436218275?s=20

    METR

  • METR:任务耗时并非难度可靠标尺

    时间并不总是一个表现良好的难度轴。在人类完成所需时间相近的任务之间,模型表现可能差异很大,而不同任务分布下的倍增时间也各不相同。

    METR

#评测基准#论文研究#大佬观点