论文44

无需 Transformer:LLM 权重空间编程可设计稀疏表模型

原标题:Weight-Space Programming Doesn't Need Transformers

Hugging Face 每日论文发布时间 (北京时间)

研究让三个前沿 LLM 在无梯度训练条件下直接生成或设计神经网络权重,自由设计时三者均将纯文本事实编译为稀疏表,测试准确率最高达 54.4%。LLM 设计的模型准确率超过同一 LLM 写出的最优 Transformer,参数量少约 1,800 倍;据此提出的关联记忆模型在 GPU 上比同尺寸 Transformer 快至多 17 倍。

来源仅允许展示摘要,全文请到原文阅读。
推理能力数据与训练论文研究#论文/研究#数据/训练#推理