教程58
在 32GB Mac 上用 Transformers 流式加载 MoE 专家,跑 180B 模型
原标题:180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
作者在 32GB 内存的 MacBook M5 上为 Transformers 实现 MoE 专家流式加载,让 180B 参数的 Qwen3.8-Flash-Next 跑起来,短文本解码约 13.9 tok/s,落后 Strata 约 6%。
来源仅允许展示摘要,全文请到原文阅读。
