openlake-project GitHub avatar

openlake

Rust
大模型高性能存储引擎openlake-project最近推送 2026年11月11日
模型推理与部署Apache-2.03,092419147 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

面向 LLM 推理与 GPU 训练的高性能分布式存储引擎,用 Rust 和 io_uring 提升吞吐。

OpenLake 是一个为 AI 基础设施设计的存储引擎,目标是让 GPU 在训练和推理时少等 I/O。它基于 Rust 和 io_uring 构建,README 称可在 1ms 内提供百万级 IOPS,并支持 RDMA 多机集群。主要覆盖 KV Cache 卸载、向量库、Checkpoint 存取、模型训练小文件读写和上下文存储等场景。

推荐指数

4.0

方向明确、性能数据亮眼,适合有 GPU 集群和存储优化需求的团队评估,但项目较新,生产使用需谨慎验证。

总 Star 排名

#1741

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年4月27日

核心亮点

  • 1低延迟高吞吐

    基于 io_uring,README 称可在 1ms 内达到百万级 IOPS。

  • 2KV Cache 卸载

    把 KV Cache 存到 GPU 主机本地或集群,减少重复 prefill。

  • 3vLLM 即插即用

    通过 openlake-vllm 连接器接入,无需改推理代码。

  • 4多机 RDMA 集群

    多台 GPU 主机可组成共享 KV 池,前缀可跨机复用。

  • 5S3 兼容对象存储

    可搭建 PB 级对象存储,服务 GPU 集群的 Checkpoint 等需求。

适用场景

  • 长上下文推理加速

    例如:vLLM 服务长 prompt 模型时,把 KV Cache 卸载到 OpenLake,重复请求直接命中缓存。

  • 多机推理集群

    例如:多台 H100 主机通过 RDMA 共享 KV 池,一台算好的前缀供其他机器读取。

  • 训练 Checkpoint 存取

    例如:RL 或 ML 训练中频繁写读 Checkpoint,用 OpenLake 对象存储降低等待时间。

  • 向量检索与上下文存储

    例如:为 Agent 应用存储大量对话记忆,做快速随机读取。

它是怎么工作的

  1. 第 1 步

    部署存储服务

    在 GPU 节点或集群上启动 openlaked 守护进程。

  2. 第 2 步

    接入推理引擎

    通过 vLLM 的 KV Connector 配置指向 OpenLake 节点。

  3. 第 3 步

    写入与读取 KV

    推理时把 KV Cache 写入存储,后续请求按前缀命中读回。

  4. 第 4 步

    多机共享

    配置 RDMA 和节点 ID,让多台主机组成统一 KV 池。

  5. 第 5 步

    对象存储模式

    也可单独作为 S3 兼容对象存储,服务 Checkpoint 等场景。

快速上手

  1. 1

    安装连接器并启动

    安装 Python 包并运行存储守护进程。

    pip install openlake-vllm
    openlaked
  2. 2

    启用 vLLM

    通过 kv-transfer-config 指定 OpenLake 连接器。

    export PYTHONHASHSEED=0
    vllm serve <model_name> --kv-transfer-config '{"kv_connector":"OpenLakeConnector","kv_connector_module_path":"openlake_client.openlake_connector","kv_role":"kv_both","kv_connector_extra_config":{"openlake_nodes":["127.0.0.1:9400"],"openlake_device":"local"}}'
  3. 3

    源码构建对象存储

    安装依赖后用 Cargo 构建 openlaked 二进制。

    git clone https://github.com/openlake-project/openlake.git && cd openlake
    cargo build --release --bin openlaked
  4. 4

    启动单节点存储

    创建数据目录并以默认配置启动。

    ./target/release/openlaked --config <config>

适合谁

  • 需要优化 LLM 推理成本的平台团队
  • 有 GPU 集群和 RDMA 网络的基础设施团队
  • 做长上下文或 Agent 应用、需要 KV 缓存的开发者
  • 需要高性能 Checkpoint 存储的训练团队

不太适合

  • 只有单机、无 GPU 的个人开发者
  • 不想引入额外存储组件的轻量项目

成熟度

  • 活跃度2026 年 4 月创建,11 月仍有推送,更新频繁。
  • 文档README 有快速上手和配置示例,但整体文档仍在完善。
  • 社区约 3000 star、420 fork,有 Discord,但 issue 147 个待处理。
  • 上手难度vLLM 接入较简单,多机 RDMA 和源码构建需要一定运维经验。

使用前注意

  • · 项目创建时间较短,生产环境建议先做压测和验证。
  • · 多机 RDMA 模式依赖 InfiniBand 网络和相应配置。
  • · 源码构建需要 clang、cmake、libhwloc 等系统依赖。
  • · Apache-2.0 许可,商用前仍建议确认版本与支持策略。

主题标签

gpuhigh-performancerdmaruststoragethroughputblackwellgptllmllm-trainingmodel-serving