thu-ml GitHub avatar

SageAttention

Cuda
量化注意力加速库thu-ml最近推送 2026年1月18日
模型推理与部署Apache-2.04,015558221 issues7 天 +9

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

量化注意力机制,在多数GPU上实现2-5倍加速且不损失精度。

SageAttention 是清华大学团队开源的量化注意力实现,包含 SageAttention、SageAttention2 和 SageAttention2++ 三个版本。它通过 INT8 量化 QK^T 和 FP8 量化 PV,在 Ampere、Ada、Hopper 等 GPU 上实现比 FlashAttention 更快的推理速度,且保持端到端指标不变。

推荐指数

4.0

适合需要加速注意力计算的开发者,但需注意 GPU 架构和 CUDA 版本要求。

近 7 天

+9

新增 Star

总 Star 排名

#1465

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年10月3日

核心亮点

  • 1显著加速

    相比 FlashAttention 实现 2-5 倍速度提升。

  • 2精度无损

    在语言、图像和视频模型上不损失端到端指标。

  • 3即插即用

    提供简单 API,替换原有注意力调用即可。

  • 4多版本支持

    包含 SageAttention、2 和 2++,适应不同精度需求。

  • 5学术认可

    相关论文被 ICLR、ICML、NeurIPS 接收。

适用场景

  • 大语言模型推理加速

    例如:在 Llama 等模型中将标准注意力替换为 sageattn,减少推理延迟。

  • 视频生成模型加速

    例如:在 CogVideoX 等视频生成模型中加速注意力计算,缩短生成时间。

  • 图像生成模型加速

    例如:在 DiT 等图像生成模型中替换注意力,提升采样速度。

它是怎么工作的

  1. 第 1 步

    量化 QK^T

    对 Q 和 K 进行 INT8 量化,并采用平滑技术减少异常值影响。

  2. 第 2 步

    量化 PV

    对 P 和 V 进行 FP8 量化,并使用 FP16 累加器提高精度。

  3. 第 3 步

    两级累加

    在 FP8 MMA 和 WGMMA 中采用两级累加策略提升精度。

  4. 第 4 步

    自动选择内核

    sageattn 根据 GPU 类型自动选择最优内核,平衡性能与精度。

快速上手

  1. 1

    安装依赖

    确保 Python>=3.9, torch>=2.3.0, triton>=3.0.0,CUDA 版本符合要求。

  2. 2

    安装 SageAttention

    使用 pip 安装 SageAttention 2.2.0。

    pip install sageattention==2.2.0 --no-build-isolation
  3. 3

    调用 API

    导入 sageattn 并替换原有注意力计算。

    from sageattention import sageattn
    attn_output = sageattn(q, k, v, tensor_layout="HND", is_causal=False)

适合谁

  • 需要加速注意力计算的深度学习开发者
  • 使用 PyTorch 和 CUDA 的研究人员
  • 部署大语言模型或生成模型的工程师

不太适合

  • 使用非 NVIDIA GPU 的开发者
  • 对精度极度敏感且无法接受任何量化的场景
  • 不熟悉 CUDA 环境配置的初学者

成熟度

  • 活跃度最近更新于 2026 年 1 月,持续活跃开发。
  • 文档README 详细,包含安装、使用和论文链接,但部分高级功能文档较少。
  • 社区4013 星,558 分支,221 个开放 issue,社区较活跃。
  • 上手难度需要特定 GPU 和 CUDA 版本,安装可能需编译,对新手有一定门槛。

同类项目怎么选

  • FlashAttentionFlashAttention 是精确注意力实现,SageAttention 通过量化实现更高加速比。
  • xFormersxFormers 提供多种注意力优化,SageAttention 专注于量化加速且速度更快。

使用前注意

  • · 仅支持 NVIDIA GPU(Ampere、Ada、Hopper 等),不支持其他平台。
  • · 需要特定 CUDA 版本(如 12.8 用于 Blackwell),环境配置需注意。
  • · 量化可能引入微小误差,精度敏感场景建议使用 SageAttention2。
  • · Apache-2.0 许可证,可商用,但需保留版权声明。

主题标签

attentioninference-accelerationllmquantizationcudatritonvideo-generationefficient-attentionmlsysllm-infravitvideo-generate