ucbepic GitHub avatar

docetl

Python
智能体数据处理框架ucbepic最近推送 2026年11月18日
数据与评测MIT4,26047129 issues7 天 +34

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用自然语言声明式地构建 LLM 数据处理流水线,自动优化成本与准确率。

DocETL 是 UC Berkeley 团队开发的开源系统,用于对结构化与非结构化数据做 LLM 驱动的 ETL 与数据处理。你只需用自然语言描述每个操作(如“提取工单中的每条投诉”),它提供 map、reduce、filter 等算子并自动并行编排,还会自动优化流水线(换模型、改写提示、拆解操作、用代码替代子任务)以提升准确率、降低成本,最终输出可直接入库查询的表格。

推荐指数

4.0

学术背景扎实、文档完善,适合需要批量 LLM 处理文档的团队,但需承担 LLM 调用成本。

近 7 天

+34

新增 Star

总 Star 排名

#1406

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年7月9日

核心亮点

  • 1声明式流水线

    用 YAML 或 Python API 描述操作,无需手写每次 LLM 调用与串联逻辑。

  • 2自动优化

    内置 MOAR 优化,自动换模型、改写提示、拆解操作以平衡成本与准确率。

  • 3算子丰富

    提供 map、filter、reduce、resolve、split、gather、extract 等常用算子。

  • 4可视化调试

    DocWrangler UI 可实时编辑提示并查看结果,便于迭代。

  • 5成本可见

    运行后可查看总花费,便于控制预算。

适用场景

  • 工单分类与汇总

    例如:把客服工单按类别和优先级分类,再按类别生成摘要。

  • 非结构化文档抽取

    例如:从合同或报告中抽取结构化字段,输出为表格。

  • 大规模文本清洗

    例如:对海量评论做过滤、去重与语义聚合。

它是怎么工作的

  1. 第 1 步

    定义数据源

    在 YAML 或 Python 中指定输入文件(如 JSON)。

  2. 第 2 步

    声明操作

    用自然语言写 map、reduce 等操作的提示与输出 schema。

  3. 第 3 步

    编排执行

    系统并行调度各操作,跨数据分片处理。

  4. 第 4 步

    自动优化

    按成本与准确率目标改写提示、换模型或替换为代码。

  5. 第 5 步

    输出结果

    生成可入库查询的表格数据。

快速上手

  1. 1

    安装

    用 pip 安装并配置 LLM 密钥。

    pip install docetl
  2. 2

    写 YAML 流水线

    声明数据集、默认模型与操作步骤。

  3. 3

    运行

    用 CLI 执行配置文件。

    docetl run pipeline.yaml
  4. 4

    或用 Python API

    链式调用 map/reduce,先 show 预览再 collect 全量运行。

适合谁

  • 需要批量处理文档的开发者
  • 做数据管道与 ETL 的工程师
  • 想快速试验 LLM 数据处理的研究者

不太适合

  • 对 LLM 调用成本敏感且无预算的项目
  • 只需单次简单 LLM 调用的场景

成熟度

  • 活跃度2026 年 11 月仍有更新,issue 仅 29 个,维护活跃。
  • 文档有官网、完整文档、教程、论文与示例。
  • 社区4.2k star、471 fork,有 Discord 与社区示例。
  • 上手难度提供 Python API、YAML 与可视化 UI,上手门槛较低。

使用前注意

  • · MIT 许可,商用友好。
  • · 依赖外部 LLM 提供商,需自备 API 密钥并承担调用费用。
  • · 大规模数据处理的成本与延迟取决于所选模型和优化效果。
  • · 部分高级功能(如自动优化)效果需结合实际数据验证。

主题标签

dataetlllmpythondata-pipelineseltworkflowagentssemantic-datadocument-processingunstructured-dataunstructured-data-analysisdocument-analysis