教程58

在 32GB Mac 上用 Transformers 流式加载 MoE 专家,跑 180B 模型

原标题:180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

Hugging Face Blog发布时间 (北京时间)

作者在 32GB 内存的 MacBook M5 上为 Transformers 实现 MoE 专家流式加载,让 180B 参数的 Qwen3.8-Flash-Next 跑起来,短文本解码约 13.9 tok/s,落后 Strata 约 6%。

来源仅允许展示摘要,全文请到原文阅读。
Hugging Face推理能力开源生态部署工程教程实践#教程/实践#推理#部署/工程#开源/仓库#Hugging Face