huggingface GitHub avatar

datasets

Python
机器学习数据集库huggingface最近推送 2026年11月18日
数据与评测Apache-2.022.2k3,6591,650 issues7 天 +30

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一行代码加载并处理公开数据集,省去下载和格式转换。

Hugging Face 维护的数据集库,提供 Hugging Face Hub 上大量可直接使用的公开数据集,覆盖文本、图像、音频、视频、PDF、3D 医学影像等类型。同时提供 map、filter、流式读取等数据处理工具,可输出到 NumPy、Pandas、PyTorch、TensorFlow、JAX 等框架。

推荐指数

5.0

AI 数据加载与预处理的事实标准,几乎每个训练脚本都会用到。

近 7 天

+30

新增 Star

总 Star 排名

#329

雷达追踪的 3,958 个 AI 仓库中

创建于

2020

2020年3月26日

核心亮点

  • 1一行加载

    load_dataset() 直接拉取 Hub 上的数据集或读取本地文件。

  • 2多模态支持

    原生支持文本、音频、图像、视频、PDF、NIfTI 等格式。

  • 3流式读取

    streaming=True 无需下载完整数据集即可边读边训练。

  • 4Arrow 后端

    内存映射存储,减少内存占用,并自动复用缓存结果。

  • 5多框架互通

    可转换为 NumPy、Pandas、Polars、PyTorch、TensorFlow、JAX、Spark。

适用场景

  • 快速获取公开数据集

    例如:用 load_dataset('rajpurkar/squad') 直接拿到 SQuAD 训练集。

  • 训练前数据预处理

    例如:用 dataset.map() 批量分词、加字段、过滤样本。

  • 大数据集流式训练

    例如:对无法完整下载的数据集开启 streaming=True 逐批读取。

  • 多模态模型实验

    例如:加载图像、音频或 PDF 数据集并转成 PyTorch 张量。

它是怎么工作的

  1. 第 1 步

    定位数据集

    根据 Hub 上的数据集名称或本地文件路径确定数据来源。

  2. 第 2 步

    下载与缓存

    首次使用时下载数据并缓存到本地,后续直接复用。

  3. 第 3 步

    Arrow 存储

    数据以 Apache Arrow 格式内存映射,避免一次性载入内存。

  4. 第 4 步

    处理与转换

    通过 map、filter 等操作处理,再转换为目标框架格式。

快速上手

  1. 1

    安装

    用 pip 安装基础包,按需加装音频、视觉等可选依赖。

    pip install datasets
  2. 2

    加载数据集

    调用 load_dataset 获取公开数据集。

    squad_dataset = load_dataset('rajpurkar/squad')
  3. 3

    处理数据

    用 map 添加字段或分词。

    dataset_with_length = squad_dataset.map(lambda x: {"length": len(x["context"])})
  4. 4

    流式读取

    不下载完整数据,边读边用。

    load_dataset('rajpurkar/squad', streaming=True)

适合谁

  • 机器学习研究者
  • 模型训练与微调开发者
  • 需要多模态数据的工程师
  • 做数据预处理的数据科学从业者

不太适合

  • 不写 Python 的用户
  • 需要完全离线、无外部依赖环境的用户

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续活跃维护。
  • 文档有独立文档站、课程和安装说明,README 结构清晰。
  • 社区2.2 万 star、3600 多 fork,是 Hugging Face 生态核心项目。
  • 上手难度核心 API 只有一个 load_dataset,几行代码即可上手。

同类项目怎么选

  • TensorFlow Datasets主要面向 TensorFlow 生态,数据集数量和格式支持少于本项目。
  • torchvision.datasets专注计算机视觉数据集,不覆盖文本、音频等模态。
  • WebDataset面向大规模分片数据的流式训练格式,不提供 Hub 式数据集托管。

使用前注意

  • · 首次加载需联网从 Hugging Face Hub 下载数据。
  • · 音频、视觉、PDF 等功能需额外安装可选依赖。
  • · 开放 issue 数量较多(1600 以上),部分问题处理周期可能较长。
  • · 使用 Hub 上的数据集时需自行确认各数据集自身的许可条款。

主题标签

nlpdatasetspytorchpandasnumpynatural-language-processingcomputer-visionmachine-learningdeep-learningaiartificial-intelligencellmhuggingfacearrowbioinformaticsroboticsaudio