进行中
研究称基准低分可被精确制造
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/18 01:23
- 最近更新
- 11/18 01:23
一项研究称,基准测试的低分可以被精确制造,因此单看低分很难判断模型的真实能力。研究者训练了一个 LoRA 调节器,把 Qwen 模型拉向更小的 Qwen 模型,使其命中未见目标分数的误差在 1.9 分以内;相比之下,用提示词让模型故意表现不佳,误差为 42 到 47 分。 上述说法来自 Rohan Paul 对这篇论文的介绍。按这一结果,低分本身不足以作为模型能力不足的证据。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Rohan Paul 等 1 篇报道
全部报道1 篇
一篇论文发现,基准测试的低分可以被精确制造,因此单看低分很难判断模型真实能力。研究者训练了一个 LoRA 调节器,把 Qwen 模型拉向更小的 Qwen 模型,其命中未见目标分数的误差在 1.9 分以内,而用提示词让模型故意表现不佳的误差为 42 到 47 分。
Rohan Paul
相关
#千问 Qwen#安全对齐#论文研究#评测基准
