AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
面向 LLM 推理与 GPU 训练的高性能分布式存储引擎,用 Rust 和 io_uring 提升吞吐。
OpenLake 是一个为 AI 基础设施设计的存储引擎,目标是让 GPU 在训练和推理时少等 I/O。它基于 Rust 和 io_uring 构建,README 称可在 1ms 内提供百万级 IOPS,并支持 RDMA 多机集群。主要覆盖 KV Cache 卸载、向量库、Checkpoint 存取、模型训练小文件读写和上下文存储等场景。
推荐指数
方向明确、性能数据亮眼,适合有 GPU 集群和存储优化需求的团队评估,但项目较新,生产使用需谨慎验证。
总 Star 排名
#1741
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年4月27日
核心亮点
1低延迟高吞吐
基于 io_uring,README 称可在 1ms 内达到百万级 IOPS。
2KV Cache 卸载
把 KV Cache 存到 GPU 主机本地或集群,减少重复 prefill。
3vLLM 即插即用
通过 openlake-vllm 连接器接入,无需改推理代码。
4多机 RDMA 集群
多台 GPU 主机可组成共享 KV 池,前缀可跨机复用。
5S3 兼容对象存储
可搭建 PB 级对象存储,服务 GPU 集群的 Checkpoint 等需求。
适用场景
长上下文推理加速
例如:vLLM 服务长 prompt 模型时,把 KV Cache 卸载到 OpenLake,重复请求直接命中缓存。
多机推理集群
例如:多台 H100 主机通过 RDMA 共享 KV 池,一台算好的前缀供其他机器读取。
训练 Checkpoint 存取
例如:RL 或 ML 训练中频繁写读 Checkpoint,用 OpenLake 对象存储降低等待时间。
向量检索与上下文存储
例如:为 Agent 应用存储大量对话记忆,做快速随机读取。
它是怎么工作的
第 1 步
部署存储服务
在 GPU 节点或集群上启动 openlaked 守护进程。
第 2 步
接入推理引擎
通过 vLLM 的 KV Connector 配置指向 OpenLake 节点。
第 3 步
写入与读取 KV
推理时把 KV Cache 写入存储,后续请求按前缀命中读回。
第 4 步
多机共享
配置 RDMA 和节点 ID,让多台主机组成统一 KV 池。
第 5 步
对象存储模式
也可单独作为 S3 兼容对象存储,服务 Checkpoint 等场景。
快速上手
- 1
安装连接器并启动
安装 Python 包并运行存储守护进程。
pip install openlake-vllm openlaked - 2
启用 vLLM
通过 kv-transfer-config 指定 OpenLake 连接器。
export PYTHONHASHSEED=0 vllm serve <model_name> --kv-transfer-config '{"kv_connector":"OpenLakeConnector","kv_connector_module_path":"openlake_client.openlake_connector","kv_role":"kv_both","kv_connector_extra_config":{"openlake_nodes":["127.0.0.1:9400"],"openlake_device":"local"}}' - 3
源码构建对象存储
安装依赖后用 Cargo 构建 openlaked 二进制。
git clone https://github.com/openlake-project/openlake.git && cd openlake cargo build --release --bin openlaked - 4
启动单节点存储
创建数据目录并以默认配置启动。
./target/release/openlaked --config <config>
适合谁
- 需要优化 LLM 推理成本的平台团队
- 有 GPU 集群和 RDMA 网络的基础设施团队
- 做长上下文或 Agent 应用、需要 KV 缓存的开发者
- 需要高性能 Checkpoint 存储的训练团队
不太适合
- 只有单机、无 GPU 的个人开发者
- 不想引入额外存储组件的轻量项目
成熟度
- 活跃度2026 年 4 月创建,11 月仍有推送,更新频繁。
- 文档README 有快速上手和配置示例,但整体文档仍在完善。
- 社区约 3000 star、420 fork,有 Discord,但 issue 147 个待处理。
- 上手难度vLLM 接入较简单,多机 RDMA 和源码构建需要一定运维经验。
使用前注意
- · 项目创建时间较短,生产环境建议先做压测和验证。
- · 多机 RDMA 模式依赖 InfiniBand 网络和相应配置。
- · 源码构建需要 clang、cmake、libhwloc 等系统依赖。
- · Apache-2.0 许可,商用前仍建议确认版本与支持策略。
