lance-format GitHub avatar

lance

Rust
多模态数据格式lance-format最近推送 2026年11月19日
数据与评测Apache-2.07,3639541,146 issues7 天 +83

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

面向多模态 AI 的开放数据湖格式,让 Parquet 数据获得快速随机访问和向量检索能力。

Lance 是一个开放数据湖格式,包含文件格式、表格式和目录规范,可以直接构建在对象存储之上。它支持存储图像、视频、音频、文本和向量等数据,并提供向量检索、全文检索、随机访问和特征工程能力。兼容 Pandas、DuckDB、Polars、PyArrow、Spark、Ray 等工具,从 Parquet 转换只需两行代码。

推荐指数

4.0

适合需要向量检索和多模态数据管理的 AI 团队,格式稳定性和生态集成是主要优势。

近 7 天

+83

新增 Star

总 Star 排名

#903

雷达追踪的 3,958 个 AI 仓库中

创建于

2022

2022年7月8日

核心亮点

  • 1混合检索

    同一数据集上可组合向量相似度、BM25 全文检索和 SQL 分析。

  • 2快速随机访问

    官方称随机访问比 Parquet 或 Iceberg 快 100 倍,且不牺牲扫描性能。

  • 3多模态存储

    统一存储图像、视频、音频、文本和向量,支持高效 blob 编码和懒加载。

  • 4零拷贝版本管理

    内置 ACID 事务、时间旅行、标签和分支,无需额外基础设施。

  • 5生态集成广

    支持 Arrow、Pandas、Polars、DuckDB、Spark、Ray、Trino、Flink 等。

适用场景

  • 向量搜索引擎

    例如:把 SIFT 向量数据写入 Lance,建 IVF_PQ 索引后做最近邻查询。

  • 多模态数据湖

    例如:在对象存储中统一管理图片、音频和对应向量,供训练和检索使用。

  • ML 特征工程

    例如:给已有数据集新增特征列并回填,无需重写整张表。

  • 数据版本管理

    例如:用时间旅行和分支对比不同版本的数据集,支持实验复现。

它是怎么工作的

  1. 第 1 步

    写入数据

    通过 Python 或 Rust SDK 把 Parquet、Arrow 表或 Pandas 数据写成 Lance 数据集。

  2. 第 2 步

    建立索引

    对向量列创建 IVF_PQ 等索引,加速相似度检索。

  3. 第 3 步

    查询检索

    用 lance.dataset 读取,结合 DuckDB 或 PyArrow 做向量检索和 SQL 分析。

  4. 第 4 步

    版本管理

    数据集自动记录版本,支持时间旅行、标签和分支操作。

快速上手

  1. 1

    安装

    通过 pip 安装 Python 包 pylance。

    pip install pylance
  2. 2

    转换数据

    读取 Parquet 数据集并写入 Lance 格式。

    lance.write_dataset(parquet, "/tmp/test.lance")
  3. 3

    读取数据

    用 lance.dataset 打开数据集,可转成 Pandas 或交给 DuckDB 查询。

    dataset = lance.dataset("/tmp/test.lance")
  4. 4

    建向量索引

    对向量列创建 IVF_PQ 索引后执行最近邻查询。

    sift1m.create_index("vector", index_type="IVF_PQ", num_partitions=256, num_sub_vectors=16)

适合谁

  • 需要向量检索或混合检索的 AI 应用开发者
  • 管理多模态数据的数据工程师
  • 做大规模 ML 训练、需要高性能 IO 的团队
  • 使用 Pandas、DuckDB、Spark 等工具的数据分析人员

不太适合

  • 只需要简单表格存储、不涉及向量或多模态数据的场景
  • 无法接受较频繁版本迭代和 SDK 变更的保守团队

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,仓库持续活跃开发。
  • 文档有独立文档站和格式规范,README 覆盖安装、转换和向量检索示例。
  • 社区约 7300 star、948 fork,有 Discord 和邮件列表,但开放 issue 超过 1100 个。
  • 上手难度pip 安装后两行代码即可从 Parquet 转换,Python 接口简单;Rust 核心和格式版本概念需要额外了解。

同类项目怎么选

  • Apache Iceberg偏重表格式和 SQL 分析生态,不原生提供向量索引和多模态 blob 存储。
  • Delta Lake提供 ACID 和版本管理,但随机访问和向量检索能力不如 Lance。
  • Milvus专用向量数据库,不是数据湖格式,与 Pandas、DuckDB 等分析工具的集成方式不同。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 文件格式有 data_storage_version 兼容约定,生产环境应使用稳定版本,避免 next 别名。
  • · SDK 和 API 变更遵循语义化版本,升级前应查看迁移指南。
  • · 开放 issue 数量较多,遇到问题可能需要自行排查或等待社区响应。

主题标签

machine-learningcomputer-visiondata-formatdeep-learningpythonapache-arrowduckdbmlopsdata-analysisdata-analyticsdata-sciencedataopsdata-centricembeddingsrustllms