AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
面向多模态 AI 的开放数据湖格式,让 Parquet 数据获得快速随机访问和向量检索能力。
Lance 是一个开放数据湖格式,包含文件格式、表格式和目录规范,可以直接构建在对象存储之上。它支持存储图像、视频、音频、文本和向量等数据,并提供向量检索、全文检索、随机访问和特征工程能力。兼容 Pandas、DuckDB、Polars、PyArrow、Spark、Ray 等工具,从 Parquet 转换只需两行代码。
推荐指数
适合需要向量检索和多模态数据管理的 AI 团队,格式稳定性和生态集成是主要优势。
近 7 天
+83
新增 Star
总 Star 排名
#903
雷达追踪的 3,958 个 AI 仓库中
创建于
2022
2022年7月8日
核心亮点
1混合检索
同一数据集上可组合向量相似度、BM25 全文检索和 SQL 分析。
2快速随机访问
官方称随机访问比 Parquet 或 Iceberg 快 100 倍,且不牺牲扫描性能。
3多模态存储
统一存储图像、视频、音频、文本和向量,支持高效 blob 编码和懒加载。
4零拷贝版本管理
内置 ACID 事务、时间旅行、标签和分支,无需额外基础设施。
5生态集成广
支持 Arrow、Pandas、Polars、DuckDB、Spark、Ray、Trino、Flink 等。
适用场景
向量搜索引擎
例如:把 SIFT 向量数据写入 Lance,建 IVF_PQ 索引后做最近邻查询。
多模态数据湖
例如:在对象存储中统一管理图片、音频和对应向量,供训练和检索使用。
ML 特征工程
例如:给已有数据集新增特征列并回填,无需重写整张表。
数据版本管理
例如:用时间旅行和分支对比不同版本的数据集,支持实验复现。
它是怎么工作的
第 1 步
写入数据
通过 Python 或 Rust SDK 把 Parquet、Arrow 表或 Pandas 数据写成 Lance 数据集。
第 2 步
建立索引
对向量列创建 IVF_PQ 等索引,加速相似度检索。
第 3 步
查询检索
用 lance.dataset 读取,结合 DuckDB 或 PyArrow 做向量检索和 SQL 分析。
第 4 步
版本管理
数据集自动记录版本,支持时间旅行、标签和分支操作。
快速上手
- 1
安装
通过 pip 安装 Python 包 pylance。
pip install pylance - 2
转换数据
读取 Parquet 数据集并写入 Lance 格式。
lance.write_dataset(parquet, "/tmp/test.lance") - 3
读取数据
用 lance.dataset 打开数据集,可转成 Pandas 或交给 DuckDB 查询。
dataset = lance.dataset("/tmp/test.lance") - 4
建向量索引
对向量列创建 IVF_PQ 索引后执行最近邻查询。
sift1m.create_index("vector", index_type="IVF_PQ", num_partitions=256, num_sub_vectors=16)
适合谁
- 需要向量检索或混合检索的 AI 应用开发者
- 管理多模态数据的数据工程师
- 做大规模 ML 训练、需要高性能 IO 的团队
- 使用 Pandas、DuckDB、Spark 等工具的数据分析人员
不太适合
- 只需要简单表格存储、不涉及向量或多模态数据的场景
- 无法接受较频繁版本迭代和 SDK 变更的保守团队
成熟度
- 活跃度最近一次推送在 2026 年 11 月,仓库持续活跃开发。
- 文档有独立文档站和格式规范,README 覆盖安装、转换和向量检索示例。
- 社区约 7300 star、948 fork,有 Discord 和邮件列表,但开放 issue 超过 1100 个。
- 上手难度pip 安装后两行代码即可从 Parquet 转换,Python 接口简单;Rust 核心和格式版本概念需要额外了解。
同类项目怎么选
- Apache Iceberg偏重表格式和 SQL 分析生态,不原生提供向量索引和多模态 blob 存储。
- Delta Lake提供 ACID 和版本管理,但随机访问和向量检索能力不如 Lance。
- Milvus专用向量数据库,不是数据湖格式,与 Pandas、DuckDB 等分析工具的集成方式不同。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
- · 文件格式有 data_storage_version 兼容约定,生产环境应使用稳定版本,避免 next 别名。
- · SDK 和 API 变更遵循语义化版本,升级前应查看迁移指南。
- · 开放 issue 数量较多,遇到问题可能需要自行排查或等待社区响应。
