进行中

研究称基准低分可被精确制造

报道
1
信源
1
首次报道
11/18 01:23
最近更新
11/18 01:23

一项研究称,基准测试的低分可以被精确制造,因此单看低分很难判断模型的真实能力。研究者训练了一个 LoRA 调节器,把 Qwen 模型拉向更小的 Qwen 模型,使其命中未见目标分数的误差在 1.9 分以内;相比之下,用提示词让模型故意表现不佳,误差为 42 到 47 分。 上述说法来自 Rohan Paul 对这篇论文的介绍。按这一结果,低分本身不足以作为模型能力不足的证据。

最新进展论文发现基准低分可被精确制造,低分本身难以说明模型能力

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道1 篇

  • 论文发现基准低分可被精确制造,低分本身难以说明模型能力

    一篇论文发现,基准测试的低分可以被精确制造,因此单看低分很难判断模型真实能力。研究者训练了一个 LoRA 调节器,把 Qwen 模型拉向更小的 Qwen 模型,其命中未见目标分数的误差在 1.9 分以内,而用提示词让模型故意表现不佳的误差为 42 到 47 分。

    Rohan Paul

#千问 Qwen#安全对齐#论文研究#评测基准