AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向推理模型的 KV Cache 压缩方法,边解码边丢弃冗余 token,省显存且保持精度。
R-KV 是 NeurIPS 2025 论文的官方实现,针对长链推理模型在解码阶段 KV Cache 占用过大的问题,在线识别并丢弃重复 token 的缓存。仓库同时提供 HuggingFace 参考实现,以及 vLLM、SGLang、Nano-vLLM、Mini-SGLang 四个推理框架的接入版本。
推荐指数
方法清晰、多框架接入完整,适合研究推理加速的开发者;但需自行编译框架、依赖 GPU 环境。
近 7 天
+1
新增 Star
总 Star 排名
#3106
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年5月30日
核心亮点
1解码时压缩
在生成过程中实时淘汰冗余 KV,不需要预先裁剪输入。
2精度基本无损
README 称 budget=512 时 GSM8K 上与 Full-KV 持平。
3多框架接入
提供 vLLM、SGLang、Nano-vLLM、Mini-SGLang 的补丁式集成。
4支持并行
vLLM 与 SGLang 版本支持张量并行和数据并行。
5吞吐有提升
显存受限场景下 vLLM 版本报告 tok/s 提升 17%–32%。
适用场景
长推理链模型部署
例如:用 DeepSeek-R1-Distill-Llama-8B 跑 AIME24 等长输出数学题,限制 KV 预算以降低显存。
高并发推理服务
例如:在 vLLM 上开启 R-KV,让同一张卡同时容纳更多请求。
压缩方法对比研究
例如:在 HuggingFace 路径下切换 rkv 与其他方法,比较精度和显存。
它是怎么工作的
第 1 步
分块打分
按 step_length 把解码过程分块,计算各 token 的冗余程度。
第 2 步
混合保留
结合冗余分数与窗口策略(window_size、mix_lambda)决定保留哪些 KV。
第 3 步
物理淘汰
在推理框架的注意力路径中真正释放被淘汰的 KV 块。
第 4 步
框架接入
通过补丁把上述逻辑挂到 vLLM/SGLang 的解码流程中。
快速上手
- 1
装依赖
安装 HuggingFace 路径的最小依赖。
pip install -r requirements.txt - 2
装 rkv 包
在 HuggingFace 目录下以可编辑模式安装。
cd HuggingFace && pip install -e . - 3
跑评测
用脚本在数学数据集上运行 R1 类模型。
bash scripts/run.sh - 4
接入 vLLM
克隆固定版本 vLLM 并打补丁后源码编译。
cd vLLM && scripts/apply_rkv.sh && pip install -e vllm-src
适合谁
- 研究 KV Cache 压缩与推理加速的开发者
- 需要部署长输出推理模型的服务端工程师
- 想对比不同压缩方法的实验人员
不太适合
- 只想直接调用 API 的普通应用开发者
- 没有 GPU 环境的使用者
成熟度
- 活跃度2025 年创建,最近更新到 2026 年 11 月,仍在持续迭代。
- 文档README 含安装、评测与各框架接入说明,并有论文和项目页。
- 社区约 1.2k star、197 fork、11 个开放 issue,规模中等。
- 上手难度vLLM/SGLang 接入需打补丁并源码编译,依赖 CUDA 和 GPU。
同类项目怎么选
- H2O基于注意力权重的 KV 淘汰,R-KV 侧重推理链中的冗余 token。
- SnapKV在预填充阶段做压缩,R-KV 在解码阶段在线压缩。
使用前注意
- · 采用 Apache-2.0 许可,商用前仍需自行确认。
- · vLLM/SGLang 版本绑定特定上游版本,升级框架可能需重新适配。
- · 需 GPU 与 CUDA 环境,源码编译耗时。
- · README 提示旧提交的 GSM8K 结果有 bug,复现时注意用新版本。
