AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
NVIDIA 开源的 KV 缓存压缩工具,降低长上下文 LLM 推理显存。
kvpress 是一个基于 PyTorch 和 Hugging Face transformers 的 Python 库,实现了多种无需训练的 KV 缓存压缩方法(称为 press),在预填充阶段压缩缓存。它提供自定义 pipeline,方便在长上下文推理中降低显存占用,并支持新压缩方法的开发与评测。
推荐指数
长上下文推理省显存的实用工具,方法多、接入简单,适合研究和工程验证。
近 7 天
+8
新增 Star
总 Star 排名
#3053
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年11月7日
核心亮点
1多种压缩方法
内置 Random、SnapKV、StreamingLLM、ExpectedAttention 等十余种 press。
2无需训练
所有 press 均为 training free,可直接套用到现有模型。
3pipeline 接入
注册为 transformers pipeline,自动处理聊天模板和分词。
4支持解码压缩
DecodingPress 可在生成过程中周期性压缩缓存。
5配套评测
提供 notebook、Colab、HF Space 和排行榜,便于对比效果。
适用场景
长文档问答
例如:把很长的维基文本压缩后,再针对不同问题提问。
降低显存成本
例如:在有限显存上部署长上下文模型,减少 KV 缓存占用。
研究新压缩方法
例如:继承 BasePress 实现自己的评分策略并做基准测试。
它是怎么工作的
第 1 步
加载模型
用 transformers pipeline 加载目标模型。
第 2 步
选择 press
按需求选压缩策略并设置 compression_ratio。
第 3 步
预填充压缩
在预填充阶段按重要性裁剪 KV 对。
第 4 步
生成回答
用压缩后的缓存继续生成,得到答案。
快速上手
- 1
安装
通过 pip 安装 kvpress。
pip install kvpress - 2
创建 pipeline
加载模型并指定设备与精度。
pipe = pipeline("kv-press-text-generation", model=model, device_map="auto", dtype="auto") - 3
设置压缩
选择 press 和压缩比例。
press = ExpectedAttentionPress(compression_ratio=0.5) - 4
运行推理
传入长上下文和问题获取答案。
answer = pipe(context, question=question, press=press)["answer"]
适合谁
- 需要部署长上下文 LLM 的开发者
- 研究 KV 缓存压缩的研究人员
- 使用 Hugging Face transformers 的用户
不太适合
- 不使用 transformers 的推理框架用户
- 需要开箱即用生产级服务的团队
成熟度
- 活跃度最近仍有更新,star 约 1.2k,issue 数较少。
- 文档README 含安装、用法、方法列表和示例 notebook。
- 社区有 fork 和 issue 互动,但规模仍属中等。
- 上手难度pip 安装后几行代码即可接入 pipeline。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
- · 部分 press 依赖 flash-attn 等可选依赖,环境配置需注意。
- · 解码压缩为实验特性,并非所有 press 都兼容。
- · 压缩会损失信息,需按任务评估精度影响。
