进行中

LLM 直接编写权重:关联记忆模型快 17 倍

报道
1
信源
1
首次报道
11/18 08:00
最近更新
11/18 08:00

论文作者提出“权重空间编程”:让三个前沿 LLM 在无梯度训练条件下直接生成或设计神经网络权重。自由设计时,三个模型都把纯文本事实编译成稀疏表,测试准确率最高 54.4%。 作者称,LLM 设计的模型准确率超过同一 LLM 写出的最优 Transformer,参数量少约 1,800 倍;据此提出的关联记忆模型在 GPU 上比同尺寸 Transformer 快至多 17 倍。上述准确率与加速数据均为论文报告结果。

最新进展无需 Transformer:LLM 权重空间编程可设计稀疏表模型

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. 提出权重空间编程的关联记忆模型

    Hugging Face 每日论文 等 1 篇报道

全部报道1 篇

  • 无需 Transformer:LLM 权重空间编程可设计稀疏表模型

    研究让三个前沿 LLM 在无梯度训练条件下直接生成或设计神经网络权重,自由设计时三者均将纯文本事实编译为稀疏表,测试准确率最高达 54.4%。LLM 设计的模型准确率超过同一 LLM 写出的最优 Transformer,参数量少约 1,800 倍;据此提出的关联记忆模型在 GPU 上比同尺寸 Transformer 快至多 17 倍。

    Hugging Face 每日论文

#推理能力#数据与训练#论文研究