AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
给共享 GPU 上的大模型推理提供弹性 KV Cache,按需分配显存。
kvcached 是一个面向 LLM 推理与训练的 KV Cache 库,目标是在共享 GPU 上让多个模型弹性使用显存。它把操作系统式的虚拟内存思路引入 LLM 系统,将 KV Cache 的 GPU 虚拟地址与物理显存分配解耦:推理引擎先只预留虚拟内存,缓存真正被使用时才映射物理显存,从而按负载动态分配和回收。项目支持 SGLang 与 vLLM 等主流推理引擎。
推荐指数
思路清晰、与主流推理引擎集成度高,适合关注 GPU 利用率的部署团队评估使用。
近 7 天
+13
新增 Star
总 Star 排名
#2261
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年5月28日
核心亮点
1弹性 KV Cache
按实时负载动态分配和回收 KV 显存,而非固定切分。
2虚拟内存抽象
逻辑 KV 与物理 GPU 显存解耦,通过运行时映射按需落盘。
3主流引擎集成
支持 SGLang 与 vLLM,覆盖 MHA/GQA/MLA 等多种注意力类型。
4内存控制与休眠
提供 CLI 和 API 限制内存,并支持前端路由与空闲模型休眠。
5前缀缓存
支持 vLLM 的自动前缀缓存和 SGLang 的 RadixCache。
适用场景
多模型共享单卡
例如:在同一张 GPU 上同时部署多个 LLM,按请求量弹性分配 KV 显存,避免固定分区浪费。
Serverless 推理
例如:模型按需启动和停止,KV Cache 只在有请求时占用显存。
在线与离线混部
例如:在线服务与离线批处理共用 GPU,利用弹性缓存吸收负载波动。
受限资源生产部署
例如:在 Kubernetes/OpenShift 中动态运行多个模型,控制显存上限。
它是怎么工作的
第 1 步
预留虚拟内存
推理引擎启动时只申请 KV Cache 的虚拟地址空间,不立即占用物理显存。
第 2 步
按需映射
缓存被实际写入时,才将虚拟地址映射到物理 GPU 显存。
第 3 步
动态回收
负载下降后回收不再使用的物理显存,供其他模型或请求使用。
第 4 步
限额与调度
通过 CLI 或控制 API 设置内存上限,前端路由把请求分发到目标模型。
快速上手
- 1
查看文档与示例
README 提供博客、DeepWiki 文档和 examples 目录,先了解集成方式。
- 2
确认环境版本
需要 Python 3.10–3.13,SGLang ≥ v0.5.11 或 vLLM ≥ v0.17.0。
- 3
按示例接入引擎
参考 examples 中的内存控制、前缀缓存等示例,将 kvcached 接入现有推理服务。
适合谁
- 使用 SGLang 或 vLLM 部署 LLM 的基础设施开发者
- 需要在一张 GPU 上跑多个模型的团队
- 关注显存利用率和推理成本的运维人员
- 做 serverless 或弹性推理平台的研究者
不太适合
- 只用托管 API、不直接管理 GPU 的开发者
- 对推理引擎版本锁定敏感、不愿升级的环境
成熟度
- 活跃度2025 年创建,2026 年 11 月仍有提交,版本迭代到 v0.1.6。
- 文档README 结构完整,有博客、论文、DeepWiki 和 examples 目录。
- 社区约 2k star、240 fork,106 个开放 issue,有 Slack 渠道。
- 上手难度需匹配特定引擎版本和 Python 版本,接入有一定门槛。
同类项目怎么选
- vLLM完整推理引擎,自带 PagedAttention 显存管理,但不提供跨模型弹性共享。
- SGLang完整推理引擎与运行时,kvcached 是其可选的 KV Cache 管理层。
使用前注意
- · 需与 SGLang/vLLM 的指定版本配合,升级引擎前要确认兼容性。
- · 项目仍处于 0.x 阶段,API 和行为可能变化。
- · 采用 Apache-2.0 许可,商用前仍需核对依赖许可。
- · GPU 虚拟内存映射依赖底层驱动与硬件,AMD 支持为较新加入。
