AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
只微调少量参数就能适配大模型,大幅降低算力和存储成本。
PEFT 是 Hugging Face 推出的参数高效微调库,提供 LoRA、IA3、软提示等多种方法。它只训练少量额外参数,就能让大模型适配下游任务,效果接近全量微调。该库与 Transformers、Diffusers 和 Accelerate 集成,方便训练和推理。
推荐指数
大模型微调省资源的主流选择,生态完善,上手简单。
近 7 天
+22
新增 Star
总 Star 排名
#334
雷达追踪的 3,958 个 AI 仓库中
创建于
2022
2022年11月25日
核心亮点
1节省显存
LoRA 微调 3B 模型仅需 14.4GB GPU 显存,全量微调需 47GB。
2效果接近全量
在部分任务上,PEFT 微调效果与全量微调相当。
3方法丰富
支持 LoRA、IA3、软提示等多种参数高效微调方法。
4生态集成
与 Transformers、Diffusers、Accelerate 无缝配合。
5支持量化
可与量化结合,进一步降低显存需求。
适用场景
消费级显卡微调大模型
例如:在 16GB GPU 上用 QLoRA 微调 Llama-2-7B。
多任务适配
例如:为同一基座模型训练多个 LoRA 适配器,切换使用。
扩散模型定制
例如:用 Diffusers 集成管理不同风格的适配器。
它是怎么工作的
第 1 步
选择方法
根据任务选择 LoRA、IA3 或软提示等 PEFT 方法。
第 2 步
包装模型
用 get_peft_model 将基座模型和配置包装,只训练少量参数。
第 3 步
训练保存
在数据集上训练后,保存仅包含适配器的小体积权重。
第 4 步
加载推理
用 PeftModel 加载适配器,与基座模型结合进行推理。
快速上手
- 1
安装
通过 pip 安装 PEFT。
pip install peft - 2
配置 LoRA
定义 LoraConfig 并包装模型。
- 3
训练并保存
用 Trainer 训练后保存适配器。
- 4
加载推理
用 PeftModel 加载适配器进行生成。
适合谁
- 需要微调大模型但显存有限的开发者
- 希望快速实验多种微调方法的研究者
- 使用 Hugging Face 生态的工程师
不太适合
- 需要全量微调以追求极致效果的场景
- 不熟悉 PyTorch 和 Transformers 的初学者
成熟度
- 活跃度最近更新于 2026 年 11 月,持续活跃。
- 文档README 详细,有概念指南和示例笔记本。
- 社区2.1 万星,2600 多复刻,issue 活跃。
- 上手难度API 简洁,但需了解 PyTorch 和 Transformers。
同类项目怎么选
- unsloth专注于加速 LoRA 微调,优化显存和速度,但方法较少。
- loralib仅实现 LoRA,更轻量,但功能单一。
使用前注意
- · 采用 Apache-2.0 许可,商用友好。
- · 部分 PEFT 方法需要特定硬件或库版本支持。
- · 量化结合时需注意兼容性和精度损失。
