进行中

METR提出任务生命周期成本量化方法

报道
1
信源
1
首次报道
11/21 03:44
最近更新
11/21 03:44

METR 提出用“生命周期成本”衡量构建现实任务的难度:估算构建一个任务的成本,再加上随后运行并评分 100 次的成本。METR 称,现实任务比先前认为的更难构建,这一指标与先前工作中的“混乱度”一样,是分析任务差异的另一个维度。

最新进展METR:现实任务构建成本更高

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
1
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道1 篇

  • METR:现实任务构建成本更高

    另外,我们发现现实任务更难构建。我们通过估算每个任务的“生命周期成本”来量化这一点:构建该任务的成本,以及随后运行并评分100次的成本。与先前工作中的“混乱度”一样,这是我们可以分析的另一个任务差异维度。

    METR

#论文研究#评测基准