kvcache-ai GitHub avatar

Mooncake

C++
Kimi 推理服务平台kvcache-ai最近推送 2026年11月18日
模型推理与部署Apache-2.07,0721,4981,089 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

Mooncake 是 Kimi 的 LLM 推理服务平台,通过 KV 缓存分离架构提升吞吐。

Mooncake 是 Moonshot AI 为 Kimi 打造的 LLM 推理服务平台,采用以 KVCache 为中心的分离式架构。它包含 Transfer Engine 和 Store 等组件,支持 RDMA 传输、预填充解码分离,并已集成到 vLLM、SGLang、TensorRT-LLM 等主流推理框架中。

推荐指数

4.0

适合需要大规模 LLM 推理优化的团队,架构先进但部署复杂度较高。

总 Star 排名

#933

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年6月25日

核心亮点

  • 1KV 缓存分离

    将 KV 缓存与计算分离,支持跨实例共享和复用。

  • 2RDMA 高速传输

    Transfer Engine 支持 RDMA,实现低延迟数据搬运。

  • 3多框架集成

    已接入 vLLM、SGLang、TensorRT-LLM、LMDeploy 等。

  • 4生产验证

    在 Kimi 真实负载下,SLO 内请求处理量提升 75%。

  • 5多硬件支持

    提供 CUDA、ROCm、NPU、MUSA 等多种 PyPI 包。

适用场景

  • 大规模 LLM 推理服务

    例如:为聊天机器人提供高并发推理,利用 KV 缓存复用降低延迟。

  • 预填充解码分离部署

    例如:将预填充和解码阶段部署在不同节点,通过 RDMA 传输 KV 缓存。

  • 多实例 KV 缓存共享

    例如:多个 vLLM 实例通过 Mooncake Store 共享前缀缓存,提升缓存命中率。

  • 强化学习 rollout 数据传输

    例如:在 disaggregated RL 中,用 Mooncake 在 rollout 和训练间高效搬运数据。

它是怎么工作的

  1. 第 1 步

    KV 缓存池化

    将 KV 缓存从 GPU 显存扩展到主机内存或分布式存储,形成共享池。

  2. 第 2 步

    分离式调度

    预填充和解码阶段独立调度,按需从缓存池读取 KV。

  3. 第 3 步

    高速传输

    Transfer Engine 通过 RDMA 等协议在节点间搬运 KV 缓存。

  4. 第 4 步

    框架集成

    作为后端接入 vLLM、SGLang 等,对上层提供缓存连接器。

快速上手

  1. 1

    安装 Transfer Engine

    根据 CUDA 版本选择对应 PyPI 包安装。

    pip install mooncake-transfer-engine
  2. 2

    启动 Store 服务

    参考文档部署 Mooncake Store 作为分布式缓存后端。

  3. 3

    集成推理框架

    在 vLLM 或 SGLang 中配置 Mooncake 连接器,启用 KV 缓存共享。

适合谁

  • 需要优化大规模 LLM 推理吞吐的团队
  • 使用 vLLM、SGLang 等框架并希望共享 KV 缓存的开发者
  • 具备 RDMA 网络环境的基础设施工程师

不太适合

  • 个人开发者或小规模单机推理场景
  • 没有 GPU 集群和高速网络的环境

成熟度

  • 活跃度最近更新在 2026 年 11 月,社区提交活跃。
  • 文档有官方文档、论文和博客,但部分部署细节需参考代码。
  • 社区7k+ star,1.4k+ fork,有 Slack 频道,但开放 issue 较多。
  • 上手难度需要配置 RDMA 和分布式环境,上手门槛较高。

同类项目怎么选

  • LMCache同样做 KV 缓存分层,但 Mooncake 更强调分离式架构和 RDMA 传输。
  • DynamoNVIDIA 的推理框架,Mooncake 可作为其缓存后端,两者定位不同。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 依赖 RDMA 网络和特定 GPU 环境,部署前需确认硬件兼容性。
  • · 开放 issue 数量较多(1061),可能遇到未解决问题。
  • · 作为生产级平台,配置和调优需要一定分布式系统经验。

主题标签

inferencekvcachellmrdmasglangvllmdisaggregationtokenspeedreinforcement-learningtrt-llm