AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
一个用几行代码给 AI 模型做压缩加速的优化框架。
Pruna 是面向开发者的模型优化框架,目标是让模型更快、更小、更便宜、更省电。它把缓存、量化、剪枝、蒸馏、编译等压缩算法打包成统一接口,支持 LLM、扩散模型、视觉 Transformer、语音识别等模型类型,官方称只需几行代码即可完成优化。
推荐指数
优化算法覆盖面广、上手简单,适合想快速给模型提速的开发者。
近 7 天
+9
新增 Star
总 Star 排名
#2847
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年3月11日
核心亮点
1算法齐全
内置缓存、量化、剪枝、蒸馏、编译等多类压缩技术。
2几行代码
用 smash 函数和 SmashConfig 组合算法即可优化模型。
3模型类型广
覆盖 LLM、扩散模型、视觉 Transformer、语音识别等。
4自带评测
提供 EvaluationAgent 和数据集接口,可量化优化后效果。
5多平台安装
支持 Linux、MacOS、Windows,部分算法有平台限制。
适用场景
扩散模型推理加速
例如:给 Stable Diffusion 加上 deepcache 和 stable_fast 后生成图片。
LLM 部署降本
例如:对大语言模型做量化或缓存,降低显存占用和响应时间。
优化效果对比
例如:用 EvaluationAgent 在 LAION256 数据上评测优化前后的生成质量。
它是怎么工作的
第 1 步
加载模型
先用 diffusers 等库加载任意预训练模型。
第 2 步
配置算法
在 SmashConfig 中列出要组合使用的优化算法。
第 3 步
执行优化
调用 smash 返回优化后的模型,用法与原模型一致。
第 4 步
评测效果
用 EvaluationAgent 在指定任务和数据集上评估性能。
快速上手
- 1
安装
通过 pip 安装 Pruna,需要 Python 3.9 以上。
pip install pruna - 2
加载模型
以 Stable Diffusion 为例加载预训练模型。
from diffusers import StableDiffusionPipeline base_model = StableDiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5") - 3
优化模型
配置算法并调用 smash 完成优化。
from pruna import smash, SmashConfig smash_config = SmashConfig(["deepcache", "stable_fast"]) smashed_model = smash(model=base_model, smash_config=smash_config) - 4
使用与评测
像原模型一样调用,并用 EvaluationAgent 评测。
smashed_model("An image of a cute prune.").images[0]
适合谁
- 需要给模型提速降本的算法工程师
- 做扩散模型或 LLM 部署的开发者
- 想快速对比多种优化算法的研究者
不太适合
- 需要完全自研底层优化内核的团队
- 只做传统机器学习、不涉及深度模型的用户
成熟度
- 活跃度2025 年创建,最近一次提交在 2026 年 11 月,仍在活跃维护。
- 文档有独立文档站、安装说明、快速开始和算法总览表。
- 社区约 1391 star、126 fork,开放 issue 仅 7 个,社区规模中等。
- 上手难度pip 安装,几行代码即可完成优化,README 示例完整。
同类项目怎么选
- NVIDIA TensorRT偏重 GPU 推理编译优化,Pruna 更强调多算法组合与易用接口。
- Hugging Face Optimum围绕 Transformers 生态做硬件加速,Pruna 覆盖扩散、语音等更多模型类型。
- OpenVINO面向 Intel 硬件部署优化,Pruna 不绑定特定硬件厂商。
使用前注意
- · 采用 Apache-2.0 许可,商用需保留许可声明。
- · 部分优化算法对操作系统或硬件有平台限制。
- · GPU 加速需要 CUDA 工具包,实际效果依赖硬件环境。
- · 优化可能影响模型质量,建议用自带评测接口验证。
