观察中
Transformers 实现 MoE 专家流式推理,32GB Mac 跑 180B 模型
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/18 08:00
- 最近更新
- 11/18 08:00
Hugging Face 博客作者为 Transformers 实现了 MoE 专家流式加载,在 32GB 内存的 MacBook M5 上跑起 180B 参数的 Qwen3.8-Flash-Next,短文本解码约 13.9 tok/s,比 Strata 慢约 6%。 该方法适用于采用标准专家布局的 MoE 模型;加载后占用约 18 GiB,6K 提示词峰值达 25.4 GiB。作者称,试用需从对应 PR 安装 Transformers,API 仍在与 Transformers 维护者讨论中。 作者表示,此前用 Transformers 配合 Strata 在该笔记本上已太慢,且认为 Transformers 短期内难以追上。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 0
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
分享 Transformers 中 MoE 专家流式推理实现
Hugging Face Blog 等 1 篇报道
官方一手信息1 篇
在 32GB Mac 上用 Transformers 流式加载 MoE 专家,跑 180B 模型
作者在 32GB 内存的 MacBook M5 上为 Transformers 实现 MoE 专家流式加载,让 180B 参数的 Qwen3.8-Flash-Next 跑起来,短文本解码约 13.9 tok/s,落后 Strata 约 6%。
Hugging Face Blog一手
全部报道1 篇
在 32GB Mac 上用 Transformers 流式加载 MoE 专家,跑 180B 模型
作者在 32GB 内存的 MacBook M5 上为 Transformers 实现 MoE 专家流式加载,让 180B 参数的 Qwen3.8-Flash-Next 跑起来,短文本解码约 13.9 tok/s,落后 Strata 约 6%。
Hugging Face Blog一手
