lyogavin GitHub avatar

airllm

Jupyter Notebook
大模型推理工具lyogavin最近推送 2026年11月18日
模型推理与部署Apache-2.042.7k4,422164 issues7 天 +465

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用分层加载让 4GB 显卡也能跑 70B 甚至更大模型推理。

AirLLM 是一个开源的大模型推理加速工具,核心做法是把模型权重按层拆分,推理时逐层加载到显存,从而大幅降低显存占用。README 称无需量化、蒸馏或剪枝,就能在单张 4GB 显卡上运行 70B 模型,并给出 Kimi K3(2.8T)约 3.72GB、DeepSeek-V3(671B)约 12GB 等实测数据。项目还支持在小显存上训练大模型,通过流式加载冻结权重、只把适配器放在 GPU 上。

推荐指数

4.0

显存受限时跑大模型的实用方案,代价是推理速度较慢。

近 7 天

+465

新增 Star

总 Star 排名

#132

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年6月13日

核心亮点

  • 1极低显存门槛

    按层加载权重,70B 模型可在 4GB 显卡上推理。

  • 2覆盖模型多

    通过 AutoModel 统一入口支持 Qwen、Llama、DeepSeek、Gemma 等主流模型。

  • 3无需量化剪枝

    保持原始精度,不依赖量化或蒸馏手段。

  • 4支持小显存训练

    冻结权重逐层流式加载,适配器留在 GPU,125B 模型可在 6GB 下训练。

  • 5分层压缩加速

    提供模型压缩选项,README 称可带来约 3 倍推理加速。

适用场景

  • 低显存设备本地推理

    例如:在只有 4GB 显存的旧显卡上加载 Llama 3 70B 做问答测试。

  • 超大模型可行性验证

    例如:在单张 RTX 4090 上跑通 125B MoE 模型,确认效果后再考虑部署方案。

  • 小显存微调实验

    例如:用 6GB 显存的 RTX 3060 Ti 对 125B 模型做适配器训练实验。

它是怎么工作的

  1. 第 1 步

    拆分权重

    首次加载时把模型按层切分并保存到磁盘,可指定保存路径复用。

  2. 第 2 步

    逐层加载

    推理时只把当前层权重读入显存,算完即释放,显存占用维持在单层量级。

  3. 第 3 步

    预取重叠

    提前加载下一层,让权重读取与计算重叠,减少等待。

  4. 第 4 步

    统一入口

    AutoModel 自动识别模型类型,按 Hugging Face 仓库 ID 或本地路径初始化。

快速上手

  1. 1

    安装

    通过 pip 安装 airllm 包。

    pip install airllm
  2. 2

    加载模型

    用 AutoModel.from_pretrained 传入 Hugging Face 仓库 ID 或本地路径。

    model = AutoModel.from_pretrained("Qwen/Qwen3-32B")
  3. 3

    执行推理

    像普通 transformers 模型一样准备输入文本并调用生成。

适合谁

  • 显存有限但想跑大模型的个人开发者
  • 需要验证超大模型效果的研究者
  • 想在小显卡上做微调实验的人

不太适合

  • 追求高吞吐低延迟的生产服务
  • 没有足够磁盘空间存放分层权重的人

成熟度

  • 活跃度最近更新在 2026 年 11 月,更新频繁且持续跟进新模型。
  • 文档README 含快速开始、配置、示例 notebook 和 FAQ,信息较完整。
  • 社区约 4.2 万 star、4400 多 fork,有 Discord 和微信社群。
  • 上手难度几行代码即可推理,但部分新模型需要特定 transformers 版本和额外依赖。

同类项目怎么选

  • llama.cpp以量化和 CPU/GPU 混合推理为主,AirLLM 强调不量化、按层流式加载。
  • accelerate提供通用的设备映射与卸载能力,AirLLM 针对超大模型分层加载做了专门优化。

使用前注意

  • · 逐层加载会显著拖慢推理速度,不适合低延迟场景。
  • · 首次使用需把模型拆分落盘,超大模型需要数百 GB 磁盘空间。
  • · 部分新模型依赖特定 transformers、CUDA 和 flash-attn 版本,环境配置较麻烦。
  • · 采用 Apache-2.0 许可,商用前仍需自行确认模型权重本身的许可。

主题标签

chinese-nlpfinetunegenerative-aiinstruct-gptinstruction-setllamallmloraopen-modelsopen-sourceopen-source-modelsqlorachinese-llm