ovg-project GitHub avatar

kvcached

Python
大模型缓存优化工具ovg-project最近推送 2026年11月18日
模型推理与部署Apache-2.02,050242110 issues7 天 +13

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

给共享 GPU 上的大模型推理提供弹性 KV Cache,按需分配显存。

kvcached 是一个面向 LLM 推理与训练的 KV Cache 库,目标是在共享 GPU 上让多个模型弹性使用显存。它把操作系统式的虚拟内存思路引入 LLM 系统,将 KV Cache 的 GPU 虚拟地址与物理显存分配解耦:推理引擎先只预留虚拟内存,缓存真正被使用时才映射物理显存,从而按负载动态分配和回收。项目支持 SGLang 与 vLLM 等主流推理引擎。

推荐指数

4.0

思路清晰、与主流推理引擎集成度高,适合关注 GPU 利用率的部署团队评估使用。

近 7 天

+13

新增 Star

总 Star 排名

#2261

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年5月28日

核心亮点

  • 1弹性 KV Cache

    按实时负载动态分配和回收 KV 显存,而非固定切分。

  • 2虚拟内存抽象

    逻辑 KV 与物理 GPU 显存解耦,通过运行时映射按需落盘。

  • 3主流引擎集成

    支持 SGLang 与 vLLM,覆盖 MHA/GQA/MLA 等多种注意力类型。

  • 4内存控制与休眠

    提供 CLI 和 API 限制内存,并支持前端路由与空闲模型休眠。

  • 5前缀缓存

    支持 vLLM 的自动前缀缓存和 SGLang 的 RadixCache。

适用场景

  • 多模型共享单卡

    例如:在同一张 GPU 上同时部署多个 LLM,按请求量弹性分配 KV 显存,避免固定分区浪费。

  • Serverless 推理

    例如:模型按需启动和停止,KV Cache 只在有请求时占用显存。

  • 在线与离线混部

    例如:在线服务与离线批处理共用 GPU,利用弹性缓存吸收负载波动。

  • 受限资源生产部署

    例如:在 Kubernetes/OpenShift 中动态运行多个模型,控制显存上限。

它是怎么工作的

  1. 第 1 步

    预留虚拟内存

    推理引擎启动时只申请 KV Cache 的虚拟地址空间,不立即占用物理显存。

  2. 第 2 步

    按需映射

    缓存被实际写入时,才将虚拟地址映射到物理 GPU 显存。

  3. 第 3 步

    动态回收

    负载下降后回收不再使用的物理显存,供其他模型或请求使用。

  4. 第 4 步

    限额与调度

    通过 CLI 或控制 API 设置内存上限,前端路由把请求分发到目标模型。

快速上手

  1. 1

    查看文档与示例

    README 提供博客、DeepWiki 文档和 examples 目录,先了解集成方式。

  2. 2

    确认环境版本

    需要 Python 3.10–3.13,SGLang ≥ v0.5.11 或 vLLM ≥ v0.17.0。

  3. 3

    按示例接入引擎

    参考 examples 中的内存控制、前缀缓存等示例,将 kvcached 接入现有推理服务。

适合谁

  • 使用 SGLang 或 vLLM 部署 LLM 的基础设施开发者
  • 需要在一张 GPU 上跑多个模型的团队
  • 关注显存利用率和推理成本的运维人员
  • 做 serverless 或弹性推理平台的研究者

不太适合

  • 只用托管 API、不直接管理 GPU 的开发者
  • 对推理引擎版本锁定敏感、不愿升级的环境

成熟度

  • 活跃度2025 年创建,2026 年 11 月仍有提交,版本迭代到 v0.1.6。
  • 文档README 结构完整,有博客、论文、DeepWiki 和 examples 目录。
  • 社区约 2k star、240 fork,106 个开放 issue,有 Slack 渠道。
  • 上手难度需匹配特定引擎版本和 Python 版本,接入有一定门槛。

同类项目怎么选

  • vLLM完整推理引擎,自带 PagedAttention 显存管理,但不提供跨模型弹性共享。
  • SGLang完整推理引擎与运行时,kvcached 是其可选的 KV Cache 管理层。

使用前注意

  • · 需与 SGLang/vLLM 的指定版本配合,升级引擎前要确认兼容性。
  • · 项目仍处于 0.x 阶段,API 和行为可能变化。
  • · 采用 Apache-2.0 许可,商用前仍需核对依赖许可。
  • · GPU 虚拟内存映射依赖底层驱动与硬件,AMD 支持为较新加入。

主题标签

gpu-sharingkvcachellmsglangvllmkvcachedinference-enginegpu-mutiplexingkvcache-optimizationllm-frameworkllm-inferencellm-servingserverlessollamaelastic-kvcacheonline-offline-coserve