AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
量化注意力机制,在多数GPU上实现2-5倍加速且不损失精度。
SageAttention 是清华大学团队开源的量化注意力实现,包含 SageAttention、SageAttention2 和 SageAttention2++ 三个版本。它通过 INT8 量化 QK^T 和 FP8 量化 PV,在 Ampere、Ada、Hopper 等 GPU 上实现比 FlashAttention 更快的推理速度,且保持端到端指标不变。
推荐指数
适合需要加速注意力计算的开发者,但需注意 GPU 架构和 CUDA 版本要求。
近 7 天
+9
新增 Star
总 Star 排名
#1465
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年10月3日
核心亮点
1显著加速
相比 FlashAttention 实现 2-5 倍速度提升。
2精度无损
在语言、图像和视频模型上不损失端到端指标。
3即插即用
提供简单 API,替换原有注意力调用即可。
4多版本支持
包含 SageAttention、2 和 2++,适应不同精度需求。
5学术认可
相关论文被 ICLR、ICML、NeurIPS 接收。
适用场景
大语言模型推理加速
例如:在 Llama 等模型中将标准注意力替换为 sageattn,减少推理延迟。
视频生成模型加速
例如:在 CogVideoX 等视频生成模型中加速注意力计算,缩短生成时间。
图像生成模型加速
例如:在 DiT 等图像生成模型中替换注意力,提升采样速度。
它是怎么工作的
第 1 步
量化 QK^T
对 Q 和 K 进行 INT8 量化,并采用平滑技术减少异常值影响。
第 2 步
量化 PV
对 P 和 V 进行 FP8 量化,并使用 FP16 累加器提高精度。
第 3 步
两级累加
在 FP8 MMA 和 WGMMA 中采用两级累加策略提升精度。
第 4 步
自动选择内核
sageattn 根据 GPU 类型自动选择最优内核,平衡性能与精度。
快速上手
- 1
安装依赖
确保 Python>=3.9, torch>=2.3.0, triton>=3.0.0,CUDA 版本符合要求。
- 2
安装 SageAttention
使用 pip 安装 SageAttention 2.2.0。
pip install sageattention==2.2.0 --no-build-isolation - 3
调用 API
导入 sageattn 并替换原有注意力计算。
from sageattention import sageattn attn_output = sageattn(q, k, v, tensor_layout="HND", is_causal=False)
适合谁
- 需要加速注意力计算的深度学习开发者
- 使用 PyTorch 和 CUDA 的研究人员
- 部署大语言模型或生成模型的工程师
不太适合
- 使用非 NVIDIA GPU 的开发者
- 对精度极度敏感且无法接受任何量化的场景
- 不熟悉 CUDA 环境配置的初学者
成熟度
- 活跃度最近更新于 2026 年 1 月,持续活跃开发。
- 文档README 详细,包含安装、使用和论文链接,但部分高级功能文档较少。
- 社区4013 星,558 分支,221 个开放 issue,社区较活跃。
- 上手难度需要特定 GPU 和 CUDA 版本,安装可能需编译,对新手有一定门槛。
同类项目怎么选
- FlashAttentionFlashAttention 是精确注意力实现,SageAttention 通过量化实现更高加速比。
- xFormersxFormers 提供多种注意力优化,SageAttention 专注于量化加速且速度更快。
使用前注意
- · 仅支持 NVIDIA GPU(Ampere、Ada、Hopper 等),不支持其他平台。
- · 需要特定 CUDA 版本(如 12.8 用于 Blackwell),环境配置需注意。
- · 量化可能引入微小误差,精度敏感场景建议使用 SageAttention2。
- · Apache-2.0 许可证,可商用,但需保留版权声明。
