观察中

Transformers 实现 MoE 专家流式推理,32GB Mac 跑 180B 模型

报道
1
信源
1
首次报道
11/18 08:00
最近更新
11/18 08:00

Hugging Face 博客作者为 Transformers 实现了 MoE 专家流式加载,在 32GB 内存的 MacBook M5 上跑起 180B 参数的 Qwen3.8-Flash-Next,短文本解码约 13.9 tok/s,比 Strata 慢约 6%。 该方法适用于采用标准专家布局的 MoE 模型;加载后占用约 18 GiB,6K 提示词峰值达 25.4 GiB。作者称,试用需从对应 PR 安装 Transformers,API 仍在与 Transformers 维护者讨论中。 作者表示,此前用 Transformers 配合 Strata 在该笔记本上已太慢,且认为 Transformers 短期内难以追上。

最新进展在 32GB Mac 上用 Transformers 流式加载 MoE 专家,跑 180B 模型

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
0
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

官方一手信息1 篇

全部报道1 篇

#Hugging Face#推理能力#开源生态#部署工程#教程实践