AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用一份 YAML 配置和一条命令微调大模型,低显存笔记本也能跑。
Soup 是一个 Python 命令行工具,把 LLM 微调与后训练(SFT、DPO 等)简化为「一份配置 + 一条命令」的流程。它自动处理批量大小、GPU 检测和量化,支持 QLoRA 本地训练,并提供 Web UI。其层流式(layer streaming)功能把冻结的基座模型逐层送入 GPU,官方称可在 4 GB 显存的笔记本 GPU 上训练 8B 模型。
推荐指数
对想在本地低显存设备上微调模型的开发者很实用,但层流式仍是 BETA,升级前需读发布说明。
近 7 天
+165
新增 Star
总 Star 排名
#655
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年2月20日
核心亮点
1一份 YAML 搞定
模型、数据、训练参数集中在一个配置文件里,减少脚本拼装。
2低显存训练
层流式把基座逐层送入 GPU,README 称 4 GB 笔记本 GPU 可训 8B 模型。
3自动配置
自动检测 GPU、选择批量大小与量化方式,降低调参门槛。
4本地 QLoRA
支持在自己的 GPU 上训练,不强制依赖云服务。
5带 Web UI
除命令行外提供网页界面,方便不熟悉命令行的用户操作。
适用场景
个人开发者本地微调
例如:在 RTX 3050 4 GB 笔记本上用 LoRA 微调 Llama-3.1-8B-Instruct。
快速验证训练可行性
例如:用 soup profile --model 估算某模型在给定序列长度和批量下能否装进显存。
小团队做 SFT/DPO 实验
例如:用 soup init --template chat 生成配置后直接 soup train 跑一轮对话微调。
它是怎么工作的
第 1 步
写配置
用 soup init 从模板生成 soup.yaml,填入模型、数据集和训练方法。
第 2 步
预检
soup doctor 或 soup profile 检查环境与显存是否够用。
第 3 步
加载与量化
按配置加载模型,自动检测 GPU 并应用 NF4 等量化。
第 4 步
逐层流式训练
开启 stream_layers 后,冻结的基座按解码层逐层送入 GPU,降低峰值显存。
第 5 步
产出适配器
训练得到 LoRA 等适配器权重,可继续用于推理或导出。
快速上手
- 1
安装
安装带训练依赖的版本。
pip install "soup-cli[train]" - 2
生成配置
从对话模板初始化一份 soup.yaml。
soup init --template chat - 3
开始训练
按配置启动微调。
soup train - 4
先做预检
升级或换模型前检查配置与显存。
soup doctor --config soup.yaml
适合谁
- 只有消费级 GPU、显存有限的个人开发者
- 想少写训练脚本、快速跑通微调流程的人
- 需要本地做 SFT/DPO 实验的小团队
不太适合
- 需要大规模多机分布式训练的场景
- 要求功能完全稳定、不接受 BETA 特性的生产环境
成熟度
- 活跃度2026 年 11 月仍有推送,v0.77.2 含 159 个 PR,迭代频繁。
- 文档README 有快速开始、配置、命令和模型文档,并附论文与基准记录。
- 社区约 1 万 star、1700+ fork,有 Discord 和 Telegram,外部贡献者较多。
- 上手难度三条命令即可起步,但层流式等特性仍需读文档并注意版本变化。
同类项目怎么选
- unsloth同样主打低显存加速微调,但以库的形式集成到脚本,而非 YAML 加 CLI 的流程。
- LLaMA-Factory提供更完整的训练方法与 Web UI,配置项更多,学习成本相对更高。
- Axolotl以 YAML 配置驱动训练,但更偏向有经验的用户,低显存优化不是核心卖点。
使用前注意
- · 层流式(stream_layers)仍为 BETA,README 提示升级前先读发布说明。
- · v0.77.2 引入可能拒绝旧配置的新规则,从 0.76.x 升级需先运行 soup doctor。
- · README 中的速度与显存数据来自特定硬件和版本,实际表现会因设备而异。
- · 采用 Apache-2.0 许可,商用前仍需自行确认依赖组件的许可。
