axolotl-ai-cloud GitHub avatar

axolotl

Python
大模型微调训练框架axolotl-ai-cloud最近推送 2026年11月18日
训练与微调Apache-2.012.7k1,477255 issues7 天 +52

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一个免费开源的 LLM 微调框架,用配置化方式支持 LoRA、QLoRA、全参数和 RLHF 训练。

Axolotl 是一个免费开源的 LLM 微调框架,仓库简介为“Go ahead and axolotl questions”。它通过配置文件组织训练流程,支持 LoRA、QLoRA、全参数微调与 RLHF 等方式,覆盖多种模型和多卡环境,适合需要定制微调大模型的开发者。

推荐指数

4.0

功能覆盖广、更新活跃的微调框架,适合愿意写配置来换取灵活性的开发者。

近 7 天

+52

新增 Star

总 Star 排名

#560

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年4月14日

核心亮点

  • 1配置化训练

    用 YAML 配置文件定义模型、数据集和训练参数,减少手写训练脚本。

  • 2多种微调方式

    支持 LoRA、QLoRA、全参数微调和 RLHF 等训练流程。

  • 3多卡与分布式

    覆盖 FSDP2、专家并行、上下文并行等分布式训练选项。

  • 4模型覆盖广

    README 持续列出新支持的模型,包括 Mistral Large 4、Qwen3.6 等。

  • 5导出与部署

    提供 axolotl export 命令导出 GGUF,便于用 llama.cpp 和 Ollama 部署。

适用场景

  • 单卡微调小模型

    例如:用 QLoRA 配置在单张 GPU 上微调一个 7B 模型。

  • 多卡训练大模型

    例如:用 FSDP2 和上下文并行在多卡环境训练更大参数量的模型。

  • MoE 模型训练

    例如:用专家并行配置训练 MoE 架构模型。

  • 导出部署

    例如:训练完成后用 axolotl export 导出 GGUF 文件,在 Ollama 中运行。

它是怎么工作的

  1. 第 1 步

    编写配置

    在 YAML 文件中指定基础模型、数据集、微调方法和训练超参数。

  2. 第 2 步

    准备环境

    按文档安装依赖,配置 GPU 和多卡环境。

  3. 第 3 步

    启动训练

    运行 axolotl 训练命令,框架按配置加载模型并执行微调。

  4. 第 4 步

    导出模型

    训练完成后可合并权重,或用 axolotl export 导出 GGUF 等格式。

快速上手

  1. 1

    安装

    按官方文档安装 Axolotl 及其依赖。

  2. 2

    选配置

    从示例配置中选择与目标模型和微调方式匹配的 YAML 文件。

  3. 3

    开始训练

    用配置文件启动训练任务。

  4. 4

    导出模型

    训练结束后导出为 GGUF 等部署格式。

    axolotl export

适合谁

  • 需要微调大模型但不想从零写训练脚本的开发者
  • 需要 LoRA/QLoRA 等参数高效微调方式的团队
  • 有多卡环境、需要分布式训练选项的用户
  • 希望训练后导出 GGUF 用于本地部署的开发者

不太适合

  • 完全不想写配置文件、只想点选操作的用户
  • 没有 GPU 资源、仅想推理体验模型的用户

成熟度

  • 活跃度最近更新在 2026 年 11 月,README 持续列出新模型和新功能。
  • 文档有独立文档站点,覆盖模型、导出、并行等主题,但部分高级功能说明较深。
  • 社区约 1.27 万 star、1477 fork,有 Discord 和贡献者徽章,但开放 issue 约 256 个。
  • 上手难度配置化降低了脚本编写成本,但多卡和高级并行选项需要一定学习成本。

同类项目怎么选

  • LLaMA-Factory同样提供配置化微调,但带 WebUI,上手更偏图形界面。
  • Unsloth侧重单卡加速和低显存微调,分布式和多卡选项不如 Axolotl 丰富。
  • Hugging Face TRL更偏底层训练库,需要自己写训练脚本,Axolotl 在其上做了配置化封装。

使用前注意

  • · 采用 Apache-2.0 许可,商用前仍需确认模型和数据集的各自许可。
  • · 训练大模型需要相应 GPU 显存和多卡环境,成本较高。
  • · 高级功能如专家并行、NVFP4 LoRA 等依赖特定硬件和软件栈,需按文档核对。
  • · README 中部分新模型和新功能链接指向文档,使用前应确认版本兼容性。

主题标签

fine-tuningllm