dvmazur GitHub avatar

mixtral-offloading

Python
Mixtral 显存卸载运行dvmazur最近推送 2024年4月8日
模型推理与部署MIT2,33422326 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 Colab 或消费级电脑上运行 Mixtral-8x7B 大模型的推理方案。

这个项目实现了 Mixtral-8x7B 混合专家模型的高效推理,目标是在 Colab 或普通消费级桌面设备上跑起来。它结合 HQQ 混合量化和 MoE 卸载策略,把模型分散到 GPU 与 CPU 内存中。目前只提供演示 notebook,没有命令行脚本。

推荐指数

4.0

想在低显存设备上跑 Mixtral 的开发者值得参考,但需自行封装脚本。

近 7 天

+1

新增 Star

总 Star 排名

#2078

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年12月15日

核心亮点

  • 1混合量化

    对注意力层和专家层分别采用不同的 HQQ 量化方案。

  • 2专家卸载

    每层专家单独卸载到 CPU,需要时才调回 GPU。

  • 3LRU 缓存

    缓存活跃专家,减少相邻 token 计算时的 GPU 与内存通信。

  • 4Colab 可跑

    提供可直接打开的演示 notebook。

  • 5有技术报告

    方法细节和结果见 arXiv 论文。

适用场景

  • 低显存体验大模型

    例如:在 Colab 免费或低配 GPU 上加载并推理 Mixtral-8x7B。

  • 消费级桌面本地推理

    例如:在显存有限的个人电脑上运行量化后的 Mixtral。

  • MoE 卸载研究

    例如:参考其专家卸载与缓存策略做实验或二次开发。

它是怎么工作的

  1. 第 1 步

    混合量化

    用 HQQ 对注意力层和专家层分别量化,压缩模型体积。

  2. 第 2 步

    拆分存放

    模型分布在 GPU 和 CPU 内存中,突破单卡显存限制。

  3. 第 3 步

    按需加载专家

    每层专家单独卸载,计算时只把需要的专家调回 GPU。

  4. 第 4 步

    缓存复用

    用 LRU 缓存活跃专家,减少反复传输开销。

快速上手

  1. 1

    打开演示 notebook

    使用仓库提供的 demo.ipynb,或直接点 Colab 徽章在线运行。

  2. 2

    准备环境

    按 notebook 安装依赖并下载模型权重。

  3. 3

    运行推理

    按 notebook 步骤加载量化模型并测试生成。

  4. 4

    自行封装脚本

    README 说明暂无命令行脚本,可参考 notebook 自行编写。

适合谁

  • 显存有限但想跑 Mixtral 的个人开发者
  • 使用 Colab 做实验的研究者
  • 对 MoE 卸载和量化感兴趣的人

不太适合

  • 需要开箱即用命令行工具的用户
  • 要求生产级稳定部署的团队

成熟度

  • 活跃度2023 年底创建,最后推送 2024 年 4 月,更新已放缓。
  • 文档README 简洁,主要靠 notebook 和论文,缺命令行文档。
  • 社区约 2.3k star、224 fork,26 个开放 issue,规模中等。
  • 上手难度只有演示 notebook,无现成脚本,需自行改造。

同类项目怎么选

  • llama.cpp通用 GGUF 量化推理框架,支持 CPU 与 GPU 混合,但非专门针对 Mixtral 专家卸载。
  • exllamav2面向 GPU 的高效推理库,侧重量化与速度,不主打 CPU 卸载。

使用前注意

  • · 项目更新已放缓,部分论文中的技术尚未在仓库实现。
  • · 没有命令行脚本,本地运行需参考 notebook 自行封装。
  • · 依赖 HQQ 量化与特定显存/内存配置,硬件门槛需提前确认。
  • · 采用 MIT 许可,商用前仍需自行验证模型权重许可。

主题标签

colab-notebookdeep-learninggoogle-colablanguage-modelllmmixture-of-expertsoffloadingpytorchquantization