AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
一行代码加载并处理公开数据集,省去下载和格式转换。
Hugging Face 维护的数据集库,提供 Hugging Face Hub 上大量可直接使用的公开数据集,覆盖文本、图像、音频、视频、PDF、3D 医学影像等类型。同时提供 map、filter、流式读取等数据处理工具,可输出到 NumPy、Pandas、PyTorch、TensorFlow、JAX 等框架。
推荐指数
AI 数据加载与预处理的事实标准,几乎每个训练脚本都会用到。
近 7 天
+30
新增 Star
总 Star 排名
#329
雷达追踪的 3,958 个 AI 仓库中
创建于
2020
2020年3月26日
核心亮点
1一行加载
load_dataset() 直接拉取 Hub 上的数据集或读取本地文件。
2多模态支持
原生支持文本、音频、图像、视频、PDF、NIfTI 等格式。
3流式读取
streaming=True 无需下载完整数据集即可边读边训练。
4Arrow 后端
内存映射存储,减少内存占用,并自动复用缓存结果。
5多框架互通
可转换为 NumPy、Pandas、Polars、PyTorch、TensorFlow、JAX、Spark。
适用场景
快速获取公开数据集
例如:用 load_dataset('rajpurkar/squad') 直接拿到 SQuAD 训练集。
训练前数据预处理
例如:用 dataset.map() 批量分词、加字段、过滤样本。
大数据集流式训练
例如:对无法完整下载的数据集开启 streaming=True 逐批读取。
多模态模型实验
例如:加载图像、音频或 PDF 数据集并转成 PyTorch 张量。
它是怎么工作的
第 1 步
定位数据集
根据 Hub 上的数据集名称或本地文件路径确定数据来源。
第 2 步
下载与缓存
首次使用时下载数据并缓存到本地,后续直接复用。
第 3 步
Arrow 存储
数据以 Apache Arrow 格式内存映射,避免一次性载入内存。
第 4 步
处理与转换
通过 map、filter 等操作处理,再转换为目标框架格式。
快速上手
- 1
安装
用 pip 安装基础包,按需加装音频、视觉等可选依赖。
pip install datasets - 2
加载数据集
调用 load_dataset 获取公开数据集。
squad_dataset = load_dataset('rajpurkar/squad') - 3
处理数据
用 map 添加字段或分词。
dataset_with_length = squad_dataset.map(lambda x: {"length": len(x["context"])}) - 4
流式读取
不下载完整数据,边读边用。
load_dataset('rajpurkar/squad', streaming=True)
适合谁
- 机器学习研究者
- 模型训练与微调开发者
- 需要多模态数据的工程师
- 做数据预处理的数据科学从业者
不太适合
- 不写 Python 的用户
- 需要完全离线、无外部依赖环境的用户
成熟度
- 活跃度最近一次推送在 2026 年 11 月,持续活跃维护。
- 文档有独立文档站、课程和安装说明,README 结构清晰。
- 社区2.2 万 star、3600 多 fork,是 Hugging Face 生态核心项目。
- 上手难度核心 API 只有一个 load_dataset,几行代码即可上手。
同类项目怎么选
- TensorFlow Datasets主要面向 TensorFlow 生态,数据集数量和格式支持少于本项目。
- torchvision.datasets专注计算机视觉数据集,不覆盖文本、音频等模态。
- WebDataset面向大规模分片数据的流式训练格式,不提供 Hub 式数据集托管。
使用前注意
- · 首次加载需联网从 Hugging Face Hub 下载数据。
- · 音频、视觉、PDF 等功能需额外安装可选依赖。
- · 开放 issue 数量较多(1600 以上),部分问题处理周期可能较长。
- · 使用 Hub 上的数据集时需自行确认各数据集自身的许可条款。
