AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
Mooncake 是 Kimi 的 LLM 推理服务平台,通过 KV 缓存分离架构提升吞吐。
Mooncake 是 Moonshot AI 为 Kimi 打造的 LLM 推理服务平台,采用以 KVCache 为中心的分离式架构。它包含 Transfer Engine 和 Store 等组件,支持 RDMA 传输、预填充解码分离,并已集成到 vLLM、SGLang、TensorRT-LLM 等主流推理框架中。
推荐指数
适合需要大规模 LLM 推理优化的团队,架构先进但部署复杂度较高。
总 Star 排名
#933
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年6月25日
核心亮点
1KV 缓存分离
将 KV 缓存与计算分离,支持跨实例共享和复用。
2RDMA 高速传输
Transfer Engine 支持 RDMA,实现低延迟数据搬运。
3多框架集成
已接入 vLLM、SGLang、TensorRT-LLM、LMDeploy 等。
4生产验证
在 Kimi 真实负载下,SLO 内请求处理量提升 75%。
5多硬件支持
提供 CUDA、ROCm、NPU、MUSA 等多种 PyPI 包。
适用场景
大规模 LLM 推理服务
例如:为聊天机器人提供高并发推理,利用 KV 缓存复用降低延迟。
预填充解码分离部署
例如:将预填充和解码阶段部署在不同节点,通过 RDMA 传输 KV 缓存。
多实例 KV 缓存共享
例如:多个 vLLM 实例通过 Mooncake Store 共享前缀缓存,提升缓存命中率。
强化学习 rollout 数据传输
例如:在 disaggregated RL 中,用 Mooncake 在 rollout 和训练间高效搬运数据。
它是怎么工作的
第 1 步
KV 缓存池化
将 KV 缓存从 GPU 显存扩展到主机内存或分布式存储,形成共享池。
第 2 步
分离式调度
预填充和解码阶段独立调度,按需从缓存池读取 KV。
第 3 步
高速传输
Transfer Engine 通过 RDMA 等协议在节点间搬运 KV 缓存。
第 4 步
框架集成
作为后端接入 vLLM、SGLang 等,对上层提供缓存连接器。
快速上手
- 1
安装 Transfer Engine
根据 CUDA 版本选择对应 PyPI 包安装。
pip install mooncake-transfer-engine - 2
启动 Store 服务
参考文档部署 Mooncake Store 作为分布式缓存后端。
- 3
集成推理框架
在 vLLM 或 SGLang 中配置 Mooncake 连接器,启用 KV 缓存共享。
适合谁
- 需要优化大规模 LLM 推理吞吐的团队
- 使用 vLLM、SGLang 等框架并希望共享 KV 缓存的开发者
- 具备 RDMA 网络环境的基础设施工程师
不太适合
- 个人开发者或小规模单机推理场景
- 没有 GPU 集群和高速网络的环境
成熟度
- 活跃度最近更新在 2026 年 11 月,社区提交活跃。
- 文档有官方文档、论文和博客,但部分部署细节需参考代码。
- 社区7k+ star,1.4k+ fork,有 Slack 频道,但开放 issue 较多。
- 上手难度需要配置 RDMA 和分布式环境,上手门槛较高。
同类项目怎么选
- LMCache同样做 KV 缓存分层,但 Mooncake 更强调分离式架构和 RDMA 传输。
- DynamoNVIDIA 的推理框架,Mooncake 可作为其缓存后端,两者定位不同。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
- · 依赖 RDMA 网络和特定 GPU 环境,部署前需确认硬件兼容性。
- · 开放 issue 数量较多(1061),可能遇到未解决问题。
- · 作为生产级平台,配置和调优需要一定分布式系统经验。
