AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用分层加载让 4GB 显卡也能跑 70B 甚至更大模型推理。
AirLLM 是一个开源的大模型推理加速工具,核心做法是把模型权重按层拆分,推理时逐层加载到显存,从而大幅降低显存占用。README 称无需量化、蒸馏或剪枝,就能在单张 4GB 显卡上运行 70B 模型,并给出 Kimi K3(2.8T)约 3.72GB、DeepSeek-V3(671B)约 12GB 等实测数据。项目还支持在小显存上训练大模型,通过流式加载冻结权重、只把适配器放在 GPU 上。
推荐指数
显存受限时跑大模型的实用方案,代价是推理速度较慢。
近 7 天
+465
新增 Star
总 Star 排名
#132
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年6月13日
核心亮点
1极低显存门槛
按层加载权重,70B 模型可在 4GB 显卡上推理。
2覆盖模型多
通过 AutoModel 统一入口支持 Qwen、Llama、DeepSeek、Gemma 等主流模型。
3无需量化剪枝
保持原始精度,不依赖量化或蒸馏手段。
4支持小显存训练
冻结权重逐层流式加载,适配器留在 GPU,125B 模型可在 6GB 下训练。
5分层压缩加速
提供模型压缩选项,README 称可带来约 3 倍推理加速。
适用场景
低显存设备本地推理
例如:在只有 4GB 显存的旧显卡上加载 Llama 3 70B 做问答测试。
超大模型可行性验证
例如:在单张 RTX 4090 上跑通 125B MoE 模型,确认效果后再考虑部署方案。
小显存微调实验
例如:用 6GB 显存的 RTX 3060 Ti 对 125B 模型做适配器训练实验。
它是怎么工作的
第 1 步
拆分权重
首次加载时把模型按层切分并保存到磁盘,可指定保存路径复用。
第 2 步
逐层加载
推理时只把当前层权重读入显存,算完即释放,显存占用维持在单层量级。
第 3 步
预取重叠
提前加载下一层,让权重读取与计算重叠,减少等待。
第 4 步
统一入口
AutoModel 自动识别模型类型,按 Hugging Face 仓库 ID 或本地路径初始化。
快速上手
- 1
安装
通过 pip 安装 airllm 包。
pip install airllm - 2
加载模型
用 AutoModel.from_pretrained 传入 Hugging Face 仓库 ID 或本地路径。
model = AutoModel.from_pretrained("Qwen/Qwen3-32B") - 3
执行推理
像普通 transformers 模型一样准备输入文本并调用生成。
适合谁
- 显存有限但想跑大模型的个人开发者
- 需要验证超大模型效果的研究者
- 想在小显卡上做微调实验的人
不太适合
- 追求高吞吐低延迟的生产服务
- 没有足够磁盘空间存放分层权重的人
成熟度
- 活跃度最近更新在 2026 年 11 月,更新频繁且持续跟进新模型。
- 文档README 含快速开始、配置、示例 notebook 和 FAQ,信息较完整。
- 社区约 4.2 万 star、4400 多 fork,有 Discord 和微信社群。
- 上手难度几行代码即可推理,但部分新模型需要特定 transformers 版本和额外依赖。
同类项目怎么选
- llama.cpp以量化和 CPU/GPU 混合推理为主,AirLLM 强调不量化、按层流式加载。
- accelerate提供通用的设备映射与卸载能力,AirLLM 针对超大模型分层加载做了专门优化。
使用前注意
- · 逐层加载会显著拖慢推理速度,不适合低延迟场景。
- · 首次使用需把模型拆分落盘,超大模型需要数百 GB 磁盘空间。
- · 部分新模型依赖特定 transformers、CUDA 和 flash-attn 版本,环境配置较麻烦。
- · 采用 Apache-2.0 许可,商用前仍需自行确认模型权重本身的许可。
