NVIDIA GitHub avatar

kvpress

Python
KV 缓存压缩工具NVIDIA最近推送 2026年11月16日
模型推理与部署Apache-2.01,25720420 issues7 天 +8

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

NVIDIA 开源的 KV 缓存压缩工具,降低长上下文 LLM 推理显存。

kvpress 是一个基于 PyTorch 和 Hugging Face transformers 的 Python 库,实现了多种无需训练的 KV 缓存压缩方法(称为 press),在预填充阶段压缩缓存。它提供自定义 pipeline,方便在长上下文推理中降低显存占用,并支持新压缩方法的开发与评测。

推荐指数

4.0

长上下文推理省显存的实用工具,方法多、接入简单,适合研究和工程验证。

近 7 天

+8

新增 Star

总 Star 排名

#3053

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年11月7日

核心亮点

  • 1多种压缩方法

    内置 Random、SnapKV、StreamingLLM、ExpectedAttention 等十余种 press。

  • 2无需训练

    所有 press 均为 training free,可直接套用到现有模型。

  • 3pipeline 接入

    注册为 transformers pipeline,自动处理聊天模板和分词。

  • 4支持解码压缩

    DecodingPress 可在生成过程中周期性压缩缓存。

  • 5配套评测

    提供 notebook、Colab、HF Space 和排行榜,便于对比效果。

适用场景

  • 长文档问答

    例如:把很长的维基文本压缩后,再针对不同问题提问。

  • 降低显存成本

    例如:在有限显存上部署长上下文模型,减少 KV 缓存占用。

  • 研究新压缩方法

    例如:继承 BasePress 实现自己的评分策略并做基准测试。

它是怎么工作的

  1. 第 1 步

    加载模型

    用 transformers pipeline 加载目标模型。

  2. 第 2 步

    选择 press

    按需求选压缩策略并设置 compression_ratio。

  3. 第 3 步

    预填充压缩

    在预填充阶段按重要性裁剪 KV 对。

  4. 第 4 步

    生成回答

    用压缩后的缓存继续生成,得到答案。

快速上手

  1. 1

    安装

    通过 pip 安装 kvpress。

    pip install kvpress
  2. 2

    创建 pipeline

    加载模型并指定设备与精度。

    pipe = pipeline("kv-press-text-generation", model=model, device_map="auto", dtype="auto")
  3. 3

    设置压缩

    选择 press 和压缩比例。

    press = ExpectedAttentionPress(compression_ratio=0.5)
  4. 4

    运行推理

    传入长上下文和问题获取答案。

    answer = pipe(context, question=question, press=press)["answer"]

适合谁

  • 需要部署长上下文 LLM 的开发者
  • 研究 KV 缓存压缩的研究人员
  • 使用 Hugging Face transformers 的用户

不太适合

  • 不使用 transformers 的推理框架用户
  • 需要开箱即用生产级服务的团队

成熟度

  • 活跃度最近仍有更新,star 约 1.2k,issue 数较少。
  • 文档README 含安装、用法、方法列表和示例 notebook。
  • 社区有 fork 和 issue 互动,但规模仍属中等。
  • 上手难度pip 安装后几行代码即可接入 pipeline。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 部分 press 依赖 flash-attn 等可选依赖,环境配置需注意。
  • · 解码压缩为实验特性,并非所有 press 都兼容。
  • · 压缩会损失信息,需按任务评估精度影响。

主题标签

llminferencekv-cachekv-cache-compressionlong-contextpythonpytorchtransformerslarge-language-models