thu-ml GitHub avatar

SpargeAttn

Cuda
免训练稀疏注意力加速thu-ml最近推送 2026年2月25日
模型推理与部署Apache-2.01,26910867 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

无需训练即可加速任意模型推理的稀疏注意力实现。

SpargeAttention 是 ICML 2025 收录的官方实现,提供一种无需训练的稀疏注意力机制,可加速语言、图像和视频模型的推理。它基于 SageAttention 系列,通过块稀疏和 top-k 选择减少计算量,并提供了即插即用的 CUDA API。

推荐指数

4.0

适合需要加速注意力计算的开发者,即插即用且无需训练,但需注意 GPU 和 CUDA 版本要求。

近 7 天

+2

新增 Star

总 Star 排名

#3032

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年2月25日

核心亮点

  • 1无需训练

    直接替换注意力计算,无需微调或校准。

  • 2即插即用

    提供与 PyTorch SDPA 兼容的 API,一行代码替换。

  • 3可调稀疏度

    通过 topk 参数平衡精度与速度。

  • 4支持自定义掩码

    允许按注意力头指定块稀疏掩码。

  • 5跨模型通用

    适用于语言、图像和视频模型。

适用场景

  • 大语言模型推理加速

    例如:在 Llama 等模型中将标准注意力替换为 SpargeAttention,降低延迟。

  • 视频生成模型加速

    例如:在 CogVideoX 等视频扩散模型中减少注意力计算时间。

  • 视觉 Transformer 推理

    例如:在 ViT 类模型中加速自注意力计算。

它是怎么工作的

  1. 第 1 步

    块稀疏划分

    将注意力矩阵划分为 128x64 的块。

  2. 第 2 步

    相似度筛选

    基于块均值相似度选择 top-k 个块进行计算。

  3. 第 3 步

    稀疏注意力计算

    仅对选中的块执行注意力运算,跳过其余块。

  4. 第 4 步

    集成 SageAttention

    底层使用 SageAttention2 的量化技术进一步加速。

快速上手

  1. 1

    安装依赖

    安装 ninja 以并行编译。

    pip install ninja
  2. 2

    安装包

    从源码安装 SpargeAttention。

    python setup.py install
  3. 3

    替换注意力

    导入 API 并替换原有注意力调用。

    from spas_sage_attn import spas_sage2_attn_meansim_topk_cuda
    attn_output = spas_sage2_attn_meansim_topk_cuda(q, k, v, topk=0.5, is_causal=False)

适合谁

  • 需要加速模型推理的开发者
  • 使用 PyTorch 和 CUDA 的研究人员
  • 对稀疏注意力感兴趣的技术人员

不太适合

  • 没有 NVIDIA GPU 的用户
  • 需要训练新模型的场景
  • 对精度要求极高的生产环境(需调参)

成熟度

  • 活跃度最近更新于 2026 年 2 月,持续维护。
  • 文档README 提供基本用法,但详细文档较少。
  • 社区1268 星,67 个开放 issue,社区有一定活跃度。
  • 上手难度提供即插即用 API,但需要编译和特定环境。

同类项目怎么选

  • SageAttentionSpargeAttention 基于 SageAttention 并增加了稀疏化,进一步加速。
  • FlashAttentionFlashAttention 是稠密注意力优化,SpargeAttention 是稀疏注意力。

使用前注意

  • · 需要 NVIDIA GPU 和特定 CUDA 版本(>=12.0,部分功能要求更高)。
  • · 使用 topk 参数需在精度和速度间权衡,可能需要调参。
  • · Apache-2.0 许可证,允许商用。
  • · 自定义掩码 API 需要理解块稀疏格式。

主题标签

ai-infraattentioninference-accelerationllmmlsysquantizationsparse-attentionvision-transformersageattentionvideo-generationvit