Zefan-Cai GitHub avatar

R-KV

Python
推理模型 KV 缓存压缩Zefan-Cai最近推送 2026年11月10日
模型推理与部署Apache-2.01,22419711 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向推理模型的 KV Cache 压缩方法,边解码边丢弃冗余 token,省显存且保持精度。

R-KV 是 NeurIPS 2025 论文的官方实现,针对长链推理模型在解码阶段 KV Cache 占用过大的问题,在线识别并丢弃重复 token 的缓存。仓库同时提供 HuggingFace 参考实现,以及 vLLM、SGLang、Nano-vLLM、Mini-SGLang 四个推理框架的接入版本。

推荐指数

4.0

方法清晰、多框架接入完整,适合研究推理加速的开发者;但需自行编译框架、依赖 GPU 环境。

近 7 天

+1

新增 Star

总 Star 排名

#3106

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年5月30日

核心亮点

  • 1解码时压缩

    在生成过程中实时淘汰冗余 KV,不需要预先裁剪输入。

  • 2精度基本无损

    README 称 budget=512 时 GSM8K 上与 Full-KV 持平。

  • 3多框架接入

    提供 vLLM、SGLang、Nano-vLLM、Mini-SGLang 的补丁式集成。

  • 4支持并行

    vLLM 与 SGLang 版本支持张量并行和数据并行。

  • 5吞吐有提升

    显存受限场景下 vLLM 版本报告 tok/s 提升 17%–32%。

适用场景

  • 长推理链模型部署

    例如:用 DeepSeek-R1-Distill-Llama-8B 跑 AIME24 等长输出数学题,限制 KV 预算以降低显存。

  • 高并发推理服务

    例如:在 vLLM 上开启 R-KV,让同一张卡同时容纳更多请求。

  • 压缩方法对比研究

    例如:在 HuggingFace 路径下切换 rkv 与其他方法,比较精度和显存。

它是怎么工作的

  1. 第 1 步

    分块打分

    按 step_length 把解码过程分块,计算各 token 的冗余程度。

  2. 第 2 步

    混合保留

    结合冗余分数与窗口策略(window_size、mix_lambda)决定保留哪些 KV。

  3. 第 3 步

    物理淘汰

    在推理框架的注意力路径中真正释放被淘汰的 KV 块。

  4. 第 4 步

    框架接入

    通过补丁把上述逻辑挂到 vLLM/SGLang 的解码流程中。

快速上手

  1. 1

    装依赖

    安装 HuggingFace 路径的最小依赖。

    pip install -r requirements.txt
  2. 2

    装 rkv 包

    在 HuggingFace 目录下以可编辑模式安装。

    cd HuggingFace && pip install -e .
  3. 3

    跑评测

    用脚本在数学数据集上运行 R1 类模型。

    bash scripts/run.sh
  4. 4

    接入 vLLM

    克隆固定版本 vLLM 并打补丁后源码编译。

    cd vLLM && scripts/apply_rkv.sh && pip install -e vllm-src

适合谁

  • 研究 KV Cache 压缩与推理加速的开发者
  • 需要部署长输出推理模型的服务端工程师
  • 想对比不同压缩方法的实验人员

不太适合

  • 只想直接调用 API 的普通应用开发者
  • 没有 GPU 环境的使用者

成熟度

  • 活跃度2025 年创建,最近更新到 2026 年 11 月,仍在持续迭代。
  • 文档README 含安装、评测与各框架接入说明,并有论文和项目页。
  • 社区约 1.2k star、197 fork、11 个开放 issue,规模中等。
  • 上手难度vLLM/SGLang 接入需打补丁并源码编译,依赖 CUDA 和 GPU。

同类项目怎么选

  • H2O基于注意力权重的 KV 淘汰,R-KV 侧重推理链中的冗余 token。
  • SnapKV在预填充阶段做压缩,R-KV 在解码阶段在线压缩。

使用前注意

  • · 采用 Apache-2.0 许可,商用前仍需自行确认。
  • · vLLM/SGLang 版本绑定特定上游版本,升级框架可能需重新适配。
  • · 需 GPU 与 CUDA 环境,源码编译耗时。
  • · README 提示旧提交的 GSM8K 结果有 bug,复现时注意用新版本。

主题标签

kvcachellmreasoning-models