chengzeyi GitHub avatar

stable-fast

Python
扩散模型推理优化框架chengzeyi最近推送 2025年3月27日
模型推理与部署MIT1,3069163 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向 HuggingFace Diffusers 的轻量推理加速框架,在 NVIDIA GPU 上快速提升扩散模型速度。

stable-fast 是一个针对 HuggingFace Diffusers 的推理优化框架,运行在 NVIDIA GPU 上。它通过 CUDNN 卷积融合、低精度 GEMM、Triton 算子融合等技术加速图像与视频扩散模型,编译只需几秒,并支持动态形状、LoRA 和 ControlNet。

推荐指数

4.0

对 Diffusers 用户来说,这是编译快、兼容性好的加速方案,但项目已暂停活跃开发。

总 Star 排名

#2968

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年10月17日

核心亮点

  • 1编译极快

    编译模型只需几秒,远快于 TensorRT 或 AITemplate 的几十分钟。

  • 2全面融合优化

    实现 CUDNN 卷积融合、低精度 GEMM、GEGLU 融合等关键算子优化。

  • 3开箱即用特性

    原生支持动态形状、LoRA 和 ControlNet,无需额外适配。

  • 4视频模型加速

    对 StableVideoDiffusionPipeline 也有显著加速,SVD-XT 从 83 秒降至 47 秒。

适用场景

  • Diffusers 推理加速

    例如:在 RTX 4080 上使用 stable-fast 优化 StableDiffusionPipeline,将单张 512x512 图片生成时间从 1897ms 降至 995ms。

  • 视频扩散模型部署

    例如:对 StableVideoDiffusionPipeline 应用 stable-fast,将 SVD-XT 生成时间从 83 秒缩短到 47 秒。

  • 动态 LoRA 切换

    例如:在推理过程中动态切换 LoRA 权重,无需重新编译模型。

它是怎么工作的

  1. 第 1 步

    安装框架

    通过预编译 wheel 或源码安装 stable-fast。

  2. 第 2 步

    包装管道

    使用 stable-fast 提供的 API 对 Diffusers 管道进行优化包装。

  3. 第 3 步

    编译优化

    首次运行时自动编译融合算子,仅需几秒。

  4. 第 4 步

    执行推理

    后续推理调用优化后的算子,获得加速效果。

快速上手

  1. 1

    安装

    从 PyPI 安装预编译 wheel。

    pip install --pre stable-fast
  2. 2

    优化管道

    导入 stable-fast 并包装 StableDiffusionPipeline。

    import stablefast
    pipe = stablefast.optimize(pipe)
  3. 3

    运行推理

    像平常一样调用管道生成图像。

    image = pipe(prompt).images[0]

适合谁

  • 使用 HuggingFace Diffusers 的开发者
  • 拥有 NVIDIA GPU 并希望加速扩散模型推理的用户
  • 需要动态形状、LoRA 或 ControlNet 支持的场景

不太适合

  • 使用非 NVIDIA 硬件(如 AMD、Apple Silicon)的用户
  • 需要长期活跃维护和社区支持的项目

成熟度

  • 活跃度最后推送为 2025-03-27,README 声明活跃开发已暂停。
  • 文档README 包含安装、使用示例、性能对比和故障排除,较为完整。
  • 社区1306 星、91 分支、63 个开放 issue,有 Discord 频道,但开发暂停可能影响响应。
  • 上手难度提供预编译 wheel 和简单 API,几行代码即可集成。

同类项目怎么选

  • TensorRT编译时间长(几十分钟),但可能获得更高加速比;stable-fast 编译仅需几秒且支持动态形状。
  • AITemplate同样需要较长编译时间,stable-fast 更轻量且编译快速。
  • OneFlow另一个深度学习框架,stable-fast 专为 Diffusers 设计,集成更简单。

使用前注意

  • · 项目活跃开发已暂停,作者转向新项目 Comfy-WaveSpeed。
  • · 仅支持 NVIDIA GPU 和 CUDA 环境。
  • · 使用 MIT 许可证,可自由修改和分发。
  • · 对最新模型(如 SD3、Stable Cascade)的支持可能有限。

主题标签

cudadiffuserspytorchstable-diffusiondeeplearnnginference-enginesopenai-tritonperformance-optimizationstorchstable-video-diffusion