进行中
METR提出任务生命周期成本量化方法
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/21 03:44
- 最近更新
- 11/21 03:44
METR 提出用“生命周期成本”衡量构建现实任务的难度:估算构建一个任务的成本,再加上随后运行并评分 100 次的成本。METR 称,现实任务比先前认为的更难构建,这一指标与先前工作中的“混乱度”一样,是分析任务差异的另一个维度。
最新进展METR:现实任务构建成本更高
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 1
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
METR 等 1 篇报道
全部报道1 篇
另外,我们发现现实任务更难构建。我们通过估算每个任务的“生命周期成本”来量化这一点:构建该任务的成本,以及随后运行并评分100次的成本。与先前工作中的“混乱度”一样,这是我们可以分析的另一个任务差异维度。
METR
相关
#论文研究#评测基准
