huggingface GitHub avatar

peft

Python
参数高效微调库huggingface最近推送 2026年11月18日
训练与微调Apache-2.021.9k2,674106 issues7 天 +22

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

只微调少量参数就能适配大模型,大幅降低算力和存储成本。

PEFT 是 Hugging Face 推出的参数高效微调库,提供 LoRA、IA3、软提示等多种方法。它只训练少量额外参数,就能让大模型适配下游任务,效果接近全量微调。该库与 Transformers、Diffusers 和 Accelerate 集成,方便训练和推理。

推荐指数

5.0

大模型微调省资源的主流选择,生态完善,上手简单。

近 7 天

+22

新增 Star

总 Star 排名

#334

雷达追踪的 3,958 个 AI 仓库中

创建于

2022

2022年11月25日

核心亮点

  • 1节省显存

    LoRA 微调 3B 模型仅需 14.4GB GPU 显存,全量微调需 47GB。

  • 2效果接近全量

    在部分任务上,PEFT 微调效果与全量微调相当。

  • 3方法丰富

    支持 LoRA、IA3、软提示等多种参数高效微调方法。

  • 4生态集成

    与 Transformers、Diffusers、Accelerate 无缝配合。

  • 5支持量化

    可与量化结合,进一步降低显存需求。

适用场景

  • 消费级显卡微调大模型

    例如:在 16GB GPU 上用 QLoRA 微调 Llama-2-7B。

  • 多任务适配

    例如:为同一基座模型训练多个 LoRA 适配器,切换使用。

  • 扩散模型定制

    例如:用 Diffusers 集成管理不同风格的适配器。

它是怎么工作的

  1. 第 1 步

    选择方法

    根据任务选择 LoRA、IA3 或软提示等 PEFT 方法。

  2. 第 2 步

    包装模型

    用 get_peft_model 将基座模型和配置包装,只训练少量参数。

  3. 第 3 步

    训练保存

    在数据集上训练后,保存仅包含适配器的小体积权重。

  4. 第 4 步

    加载推理

    用 PeftModel 加载适配器,与基座模型结合进行推理。

快速上手

  1. 1

    安装

    通过 pip 安装 PEFT。

    pip install peft
  2. 2

    配置 LoRA

    定义 LoraConfig 并包装模型。

  3. 3

    训练并保存

    用 Trainer 训练后保存适配器。

  4. 4

    加载推理

    用 PeftModel 加载适配器进行生成。

适合谁

  • 需要微调大模型但显存有限的开发者
  • 希望快速实验多种微调方法的研究者
  • 使用 Hugging Face 生态的工程师

不太适合

  • 需要全量微调以追求极致效果的场景
  • 不熟悉 PyTorch 和 Transformers 的初学者

成熟度

  • 活跃度最近更新于 2026 年 11 月,持续活跃。
  • 文档README 详细,有概念指南和示例笔记本。
  • 社区2.1 万星,2600 多复刻,issue 活跃。
  • 上手难度API 简洁,但需了解 PyTorch 和 Transformers。

同类项目怎么选

  • unsloth专注于加速 LoRA 微调,优化显存和速度,但方法较少。
  • loralib仅实现 LoRA,更轻量,但功能单一。

使用前注意

  • · 采用 Apache-2.0 许可,商用友好。
  • · 部分 PEFT 方法需要特定硬件或库版本支持。
  • · 量化结合时需注意兼容性和精度损失。

主题标签

adapterdiffusionllmparameter-efficient-learningpythonpytorchtransformerslorafine-tuningpeft