AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向基础模型的多模态数据处理流水线,把原始数据清洗成 AI 可用数据。
Data-Juicer 是一个用 Python 实现的数据处理工具,提供 200 多个可组合的算子,覆盖文本、图像、音频、视频和多模态数据。它把数据处理当作可组合的基础设施,支持清洗、合成和分析,可用于预训练、指令微调、RAG 索引和 Agent 轨迹整理等场景。
推荐指数
功能全面、文档完善、社区活跃,是基础模型数据处理的成熟选择。
近 7 天
+18
新增 Star
总 Star 排名
#915
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年8月1日
核心亮点
1算子丰富
内置 200 多个算子,覆盖文本、图像、音频、视频和多模态数据。
2配方可复现
用 YAML 配方定义流水线,可版本化、分享和复用。
3大规模性能
README 称 50 个 Ray 节点 2 小时可处理 700 亿样本。
4自动优化
支持算子融合、自适应并行和 CUDA 加速,提升处理效率。
5可观测性
内置追踪能力,便于调试、审计和迭代改进。
适用场景
预训练语料清洗
例如:对网页规模文本去重、过滤低质内容并规范化格式。
指令微调数据构建
例如:整理指令-响应对,过滤过短或重复样本。
多模态数据集准备
例如:对图像、视频和音频做质量过滤与格式统一。
RAG 数据预处理
例如:抽取、规范化并语义分块文档,构建检索索引。
它是怎么工作的
第 1 步
定义配方
用 YAML 文件声明数据源和要执行的算子链。
第 2 步
加载数据
通过 NestedDataset 等接口读入文本或多模态数据。
第 3 步
执行算子
按顺序运行过滤、映射、去重等算子处理数据。
第 4 步
输出结果
得到清洗后的数据集,可继续用于训练或分析。
快速上手
- 1
安装
用 uv 或 pip 安装 py-data-juicer 包。
uv pip install py-data-juicer - 2
运行示例流水线
用自带配置跑一个简单处理流程。
dj-process --config demos/process_simple/process.yaml - 3
Python 中组合算子
在代码里加载数据并串联过滤和规范化算子。
适合谁
- 构建预训练或微调数据集的研究团队
- 需要处理多模态数据的工程团队
- 做 RAG 或 Agent 数据清洗的开发者
- 需要大规模数据流水线的数据工程师
不太适合
- 只想做简单数据清洗、不需要复杂流水线的个人开发者
- 没有 Python 或集群使用经验的新手
成熟度
- 活跃度最近更新于 2026 年 11 月,版本迭代频繁。
- 文档有中英文文档网站、算子列表和 50+ 配方示例。
- 社区约 7200 star、455 fork,77 个开放 issue,社区较活跃。
- 上手难度提供 pip 安装、YAML 配方和 Python API,上手路径清晰。
同类项目怎么选
- datasetsHugging Face 的数据集加载与处理库,侧重数据访问和转换,不提供 200+ 现成清洗算子。
- NeMo CuratorNVIDIA 推出的数据整理工具,侧重 GPU 加速和特定模型生态,算子覆盖面与 Data-Juicer 不同。
使用前注意
- · 采用 Apache-2.0 许可,商用需保留版权和许可声明。
- · 大规模处理依赖 Ray 集群,需要相应计算资源。
- · 部分算子依赖 GPU 或特定模型,环境配置需留意。
- · README 中的性能数据基于特定集群配置,实际效果可能不同。
