AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用自然语言声明式地构建 LLM 数据处理流水线,自动优化成本与准确率。
DocETL 是 UC Berkeley 团队开发的开源系统,用于对结构化与非结构化数据做 LLM 驱动的 ETL 与数据处理。你只需用自然语言描述每个操作(如“提取工单中的每条投诉”),它提供 map、reduce、filter 等算子并自动并行编排,还会自动优化流水线(换模型、改写提示、拆解操作、用代码替代子任务)以提升准确率、降低成本,最终输出可直接入库查询的表格。
推荐指数
学术背景扎实、文档完善,适合需要批量 LLM 处理文档的团队,但需承担 LLM 调用成本。
近 7 天
+34
新增 Star
总 Star 排名
#1406
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年7月9日
核心亮点
1声明式流水线
用 YAML 或 Python API 描述操作,无需手写每次 LLM 调用与串联逻辑。
2自动优化
内置 MOAR 优化,自动换模型、改写提示、拆解操作以平衡成本与准确率。
3算子丰富
提供 map、filter、reduce、resolve、split、gather、extract 等常用算子。
4可视化调试
DocWrangler UI 可实时编辑提示并查看结果,便于迭代。
5成本可见
运行后可查看总花费,便于控制预算。
适用场景
工单分类与汇总
例如:把客服工单按类别和优先级分类,再按类别生成摘要。
非结构化文档抽取
例如:从合同或报告中抽取结构化字段,输出为表格。
大规模文本清洗
例如:对海量评论做过滤、去重与语义聚合。
它是怎么工作的
第 1 步
定义数据源
在 YAML 或 Python 中指定输入文件(如 JSON)。
第 2 步
声明操作
用自然语言写 map、reduce 等操作的提示与输出 schema。
第 3 步
编排执行
系统并行调度各操作,跨数据分片处理。
第 4 步
自动优化
按成本与准确率目标改写提示、换模型或替换为代码。
第 5 步
输出结果
生成可入库查询的表格数据。
快速上手
- 1
安装
用 pip 安装并配置 LLM 密钥。
pip install docetl - 2
写 YAML 流水线
声明数据集、默认模型与操作步骤。
- 3
运行
用 CLI 执行配置文件。
docetl run pipeline.yaml - 4
或用 Python API
链式调用 map/reduce,先 show 预览再 collect 全量运行。
适合谁
- 需要批量处理文档的开发者
- 做数据管道与 ETL 的工程师
- 想快速试验 LLM 数据处理的研究者
不太适合
- 对 LLM 调用成本敏感且无预算的项目
- 只需单次简单 LLM 调用的场景
成熟度
- 活跃度2026 年 11 月仍有更新,issue 仅 29 个,维护活跃。
- 文档有官网、完整文档、教程、论文与示例。
- 社区4.2k star、471 fork,有 Discord 与社区示例。
- 上手难度提供 Python API、YAML 与可视化 UI,上手门槛较低。
使用前注意
- · MIT 许可,商用友好。
- · 依赖外部 LLM 提供商,需自备 API 密钥并承担调用费用。
- · 大规模数据处理的成本与延迟取决于所选模型和优化效果。
- · 部分高级功能(如自动优化)效果需结合实际数据验证。
