MakazhanAlpamys GitHub avatar

Soup

Python
轻量大模型微调工具MakazhanAlpamys最近推送 2026年11月19日
训练与微调Apache-2.010.6k1,773306 issues7 天 +165

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用一份 YAML 配置和一条命令微调大模型,低显存笔记本也能跑。

Soup 是一个 Python 命令行工具,把 LLM 微调与后训练(SFT、DPO 等)简化为「一份配置 + 一条命令」的流程。它自动处理批量大小、GPU 检测和量化,支持 QLoRA 本地训练,并提供 Web UI。其层流式(layer streaming)功能把冻结的基座模型逐层送入 GPU,官方称可在 4 GB 显存的笔记本 GPU 上训练 8B 模型。

推荐指数

4.0

对想在本地低显存设备上微调模型的开发者很实用,但层流式仍是 BETA,升级前需读发布说明。

近 7 天

+165

新增 Star

总 Star 排名

#655

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年2月20日

核心亮点

  • 1一份 YAML 搞定

    模型、数据、训练参数集中在一个配置文件里,减少脚本拼装。

  • 2低显存训练

    层流式把基座逐层送入 GPU,README 称 4 GB 笔记本 GPU 可训 8B 模型。

  • 3自动配置

    自动检测 GPU、选择批量大小与量化方式,降低调参门槛。

  • 4本地 QLoRA

    支持在自己的 GPU 上训练,不强制依赖云服务。

  • 5带 Web UI

    除命令行外提供网页界面,方便不熟悉命令行的用户操作。

适用场景

  • 个人开发者本地微调

    例如:在 RTX 3050 4 GB 笔记本上用 LoRA 微调 Llama-3.1-8B-Instruct。

  • 快速验证训练可行性

    例如:用 soup profile --model 估算某模型在给定序列长度和批量下能否装进显存。

  • 小团队做 SFT/DPO 实验

    例如:用 soup init --template chat 生成配置后直接 soup train 跑一轮对话微调。

它是怎么工作的

  1. 第 1 步

    写配置

    用 soup init 从模板生成 soup.yaml,填入模型、数据集和训练方法。

  2. 第 2 步

    预检

    soup doctor 或 soup profile 检查环境与显存是否够用。

  3. 第 3 步

    加载与量化

    按配置加载模型,自动检测 GPU 并应用 NF4 等量化。

  4. 第 4 步

    逐层流式训练

    开启 stream_layers 后,冻结的基座按解码层逐层送入 GPU,降低峰值显存。

  5. 第 5 步

    产出适配器

    训练得到 LoRA 等适配器权重,可继续用于推理或导出。

快速上手

  1. 1

    安装

    安装带训练依赖的版本。

    pip install "soup-cli[train]"
  2. 2

    生成配置

    从对话模板初始化一份 soup.yaml。

    soup init --template chat
  3. 3

    开始训练

    按配置启动微调。

    soup train
  4. 4

    先做预检

    升级或换模型前检查配置与显存。

    soup doctor --config soup.yaml

适合谁

  • 只有消费级 GPU、显存有限的个人开发者
  • 想少写训练脚本、快速跑通微调流程的人
  • 需要本地做 SFT/DPO 实验的小团队

不太适合

  • 需要大规模多机分布式训练的场景
  • 要求功能完全稳定、不接受 BETA 特性的生产环境

成熟度

  • 活跃度2026 年 11 月仍有推送,v0.77.2 含 159 个 PR,迭代频繁。
  • 文档README 有快速开始、配置、命令和模型文档,并附论文与基准记录。
  • 社区约 1 万 star、1700+ fork,有 Discord 和 Telegram,外部贡献者较多。
  • 上手难度三条命令即可起步,但层流式等特性仍需读文档并注意版本变化。

同类项目怎么选

  • unsloth同样主打低显存加速微调,但以库的形式集成到脚本,而非 YAML 加 CLI 的流程。
  • LLaMA-Factory提供更完整的训练方法与 Web UI,配置项更多,学习成本相对更高。
  • Axolotl以 YAML 配置驱动训练,但更偏向有经验的用户,低显存优化不是核心卖点。

使用前注意

  • · 层流式(stream_layers)仍为 BETA,README 提示升级前先读发布说明。
  • · v0.77.2 引入可能拒绝旧配置的新规则,从 0.76.x 升级需先运行 soup doctor。
  • · README 中的速度与显存数据来自特定硬件和版本,实际表现会因设备而异。
  • · 采用 Apache-2.0 许可,商用前仍需自行确认依赖组件的许可。

主题标签

pythonfine-tuningggufhuggingfacellmloraollamapeftqloraclidpollmopslocal-llmmachine-learningsfttransformerspytorchconsumer-gpulocal-ailow-vram