datajuicer GitHub avatar

data-juicer

Python
大模型数据处理工具datajuicer最近推送 2026年11月18日
数据与评测Apache-2.07,25945572 issues7 天 +18

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向基础模型的多模态数据处理流水线,把原始数据清洗成 AI 可用数据。

Data-Juicer 是一个用 Python 实现的数据处理工具,提供 200 多个可组合的算子,覆盖文本、图像、音频、视频和多模态数据。它把数据处理当作可组合的基础设施,支持清洗、合成和分析,可用于预训练、指令微调、RAG 索引和 Agent 轨迹整理等场景。

推荐指数

5.0

功能全面、文档完善、社区活跃,是基础模型数据处理的成熟选择。

近 7 天

+18

新增 Star

总 Star 排名

#915

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年8月1日

核心亮点

  • 1算子丰富

    内置 200 多个算子,覆盖文本、图像、音频、视频和多模态数据。

  • 2配方可复现

    用 YAML 配方定义流水线,可版本化、分享和复用。

  • 3大规模性能

    README 称 50 个 Ray 节点 2 小时可处理 700 亿样本。

  • 4自动优化

    支持算子融合、自适应并行和 CUDA 加速,提升处理效率。

  • 5可观测性

    内置追踪能力,便于调试、审计和迭代改进。

适用场景

  • 预训练语料清洗

    例如:对网页规模文本去重、过滤低质内容并规范化格式。

  • 指令微调数据构建

    例如:整理指令-响应对,过滤过短或重复样本。

  • 多模态数据集准备

    例如:对图像、视频和音频做质量过滤与格式统一。

  • RAG 数据预处理

    例如:抽取、规范化并语义分块文档,构建检索索引。

它是怎么工作的

  1. 第 1 步

    定义配方

    用 YAML 文件声明数据源和要执行的算子链。

  2. 第 2 步

    加载数据

    通过 NestedDataset 等接口读入文本或多模态数据。

  3. 第 3 步

    执行算子

    按顺序运行过滤、映射、去重等算子处理数据。

  4. 第 4 步

    输出结果

    得到清洗后的数据集,可继续用于训练或分析。

快速上手

  1. 1

    安装

    用 uv 或 pip 安装 py-data-juicer 包。

    uv pip install py-data-juicer
  2. 2

    运行示例流水线

    用自带配置跑一个简单处理流程。

    dj-process --config demos/process_simple/process.yaml
  3. 3

    Python 中组合算子

    在代码里加载数据并串联过滤和规范化算子。

适合谁

  • 构建预训练或微调数据集的研究团队
  • 需要处理多模态数据的工程团队
  • 做 RAG 或 Agent 数据清洗的开发者
  • 需要大规模数据流水线的数据工程师

不太适合

  • 只想做简单数据清洗、不需要复杂流水线的个人开发者
  • 没有 Python 或集群使用经验的新手

成熟度

  • 活跃度最近更新于 2026 年 11 月,版本迭代频繁。
  • 文档有中英文文档网站、算子列表和 50+ 配方示例。
  • 社区约 7200 star、455 fork,77 个开放 issue,社区较活跃。
  • 上手难度提供 pip 安装、YAML 配方和 Python API,上手路径清晰。

同类项目怎么选

  • datasetsHugging Face 的数据集加载与处理库,侧重数据访问和转换,不提供 200+ 现成清洗算子。
  • NeMo CuratorNVIDIA 推出的数据整理工具,侧重 GPU 加速和特定模型生态,算子覆盖面与 Data-Juicer 不同。

使用前注意

  • · 采用 Apache-2.0 许可,商用需保留版权和许可声明。
  • · 大规模处理依赖 Ray 集群,需要相应计算资源。
  • · 部分算子依赖 GPU 或特定模型,环境配置需留意。
  • · README 中的性能数据基于特定集群配置,实际效果可能不同。

主题标签

data-analysisdata-sciencelarge-language-modelsllmdata-visualizationllmsinstruction-tuningpre-trainingmulti-modalsynthetic-datadatadata-pipelinedata-processingfoundation-models