PrunaAI GitHub avatar

pruna

Python
模型优化压缩框架PrunaAI最近推送 2026年11月10日
模型推理与部署Apache-2.01,3951267 issues7 天 +9

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一个用几行代码给 AI 模型做压缩加速的优化框架。

Pruna 是面向开发者的模型优化框架,目标是让模型更快、更小、更便宜、更省电。它把缓存、量化、剪枝、蒸馏、编译等压缩算法打包成统一接口,支持 LLM、扩散模型、视觉 Transformer、语音识别等模型类型,官方称只需几行代码即可完成优化。

推荐指数

4.0

优化算法覆盖面广、上手简单,适合想快速给模型提速的开发者。

近 7 天

+9

新增 Star

总 Star 排名

#2847

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年3月11日

核心亮点

  • 1算法齐全

    内置缓存、量化、剪枝、蒸馏、编译等多类压缩技术。

  • 2几行代码

    用 smash 函数和 SmashConfig 组合算法即可优化模型。

  • 3模型类型广

    覆盖 LLM、扩散模型、视觉 Transformer、语音识别等。

  • 4自带评测

    提供 EvaluationAgent 和数据集接口,可量化优化后效果。

  • 5多平台安装

    支持 Linux、MacOS、Windows,部分算法有平台限制。

适用场景

  • 扩散模型推理加速

    例如:给 Stable Diffusion 加上 deepcache 和 stable_fast 后生成图片。

  • LLM 部署降本

    例如:对大语言模型做量化或缓存,降低显存占用和响应时间。

  • 优化效果对比

    例如:用 EvaluationAgent 在 LAION256 数据上评测优化前后的生成质量。

它是怎么工作的

  1. 第 1 步

    加载模型

    先用 diffusers 等库加载任意预训练模型。

  2. 第 2 步

    配置算法

    在 SmashConfig 中列出要组合使用的优化算法。

  3. 第 3 步

    执行优化

    调用 smash 返回优化后的模型,用法与原模型一致。

  4. 第 4 步

    评测效果

    用 EvaluationAgent 在指定任务和数据集上评估性能。

快速上手

  1. 1

    安装

    通过 pip 安装 Pruna,需要 Python 3.9 以上。

    pip install pruna
  2. 2

    加载模型

    以 Stable Diffusion 为例加载预训练模型。

    from diffusers import StableDiffusionPipeline
    base_model = StableDiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
  3. 3

    优化模型

    配置算法并调用 smash 完成优化。

    from pruna import smash, SmashConfig
    smash_config = SmashConfig(["deepcache", "stable_fast"])
    smashed_model = smash(model=base_model, smash_config=smash_config)
  4. 4

    使用与评测

    像原模型一样调用,并用 EvaluationAgent 评测。

    smashed_model("An image of a cute prune.").images[0]

适合谁

  • 需要给模型提速降本的算法工程师
  • 做扩散模型或 LLM 部署的开发者
  • 想快速对比多种优化算法的研究者

不太适合

  • 需要完全自研底层优化内核的团队
  • 只做传统机器学习、不涉及深度模型的用户

成熟度

  • 活跃度2025 年创建,最近一次提交在 2026 年 11 月,仍在活跃维护。
  • 文档有独立文档站、安装说明、快速开始和算法总览表。
  • 社区约 1391 star、126 fork,开放 issue 仅 7 个,社区规模中等。
  • 上手难度pip 安装,几行代码即可完成优化,README 示例完整。

同类项目怎么选

  • NVIDIA TensorRT偏重 GPU 推理编译优化,Pruna 更强调多算法组合与易用接口。
  • Hugging Face Optimum围绕 Transformers 生态做硬件加速,Pruna 覆盖扩散、语音等更多模型类型。
  • OpenVINO面向 Intel 硬件部署优化,Pruna 不绑定特定硬件厂商。

使用前注意

  • · 采用 Apache-2.0 许可,商用需保留许可声明。
  • · 部分优化算法对操作系统或硬件有平台限制。
  • · GPU 加速需要 CUDA 工具包,实际效果依赖硬件环境。
  • · 优化可能影响模型质量,建议用自带评测接口验证。

主题标签

aicomputer-visiondeep-learningllmmachine-learningoptimizationpythonspeech-recognitiondiffusion-modelsdiffuserstransformershacktoberfest