deepspeedai GitHub avatar

DeepSpeed

Python
深度学习训练优化库deepspeedai最近推送 2026年11月19日
训练与微调Apache-2.043.3k5,0751,601 issues7 天 +16

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

DeepSpeed 是微软开源的深度学习优化库,让大规模分布式训练和推理更简单高效。

DeepSpeed 是一个基于 PyTorch 的深度学习优化库,专注于让分布式训练和推理变得简单、高效。它集成了 ZeRO、3D 并行、MoE 等系统创新,支持千亿至万亿参数模型的训练,并已用于 MT-530B、BLOOM 等大模型。

推荐指数

5.0

大规模模型训练与推理的工业级首选,生态成熟、文档丰富,适合有分布式训练需求的团队。

近 7 天

+16

新增 Star

总 Star 排名

#129

雷达追踪的 3,958 个 AI 仓库中

创建于

2020

2020年1月24日

核心亮点

  • 1ZeRO 显存优化

    通过分片优化器状态、梯度和参数,大幅降低单卡显存占用。

  • 2多种并行策略

    支持数据并行、模型并行、流水线并行和序列并行,可组合使用。

  • 3MoE 支持

    内置混合专家模型训练能力,支持万亿参数规模。

  • 4推理优化

    提供推理加速和模型压缩工具,降低部署成本。

  • 5易用接口

    只需少量代码改动即可接入现有 PyTorch 训练流程。

适用场景

  • 大规模语言模型预训练

    例如:使用 ZeRO-3 在数百张 GPU 上训练百亿参数模型。

  • 显存受限的单卡/少卡训练

    例如:通过 ZeRO-Offload 将优化器状态卸载到 CPU,在单张消费级 GPU 上微调大模型。

  • 混合专家模型训练

    例如:利用 DeepSpeed-MoE 训练万亿参数稀疏模型。

  • 低延迟推理部署

    例如:使用 DeepSpeed-Inference 对 Transformer 模型进行推理加速。

它是怎么工作的

  1. 第 1 步

    集成 DeepSpeed

    在 PyTorch 训练脚本中导入 deepspeed 并初始化分布式环境。

  2. 第 2 步

    配置优化策略

    通过 JSON 配置文件指定 ZeRO 阶段、并行策略、Offload 等参数。

  3. 第 3 步

    包装模型与优化器

    使用 deepspeed.initialize 包装模型、优化器和数据加载器。

  4. 第 4 步

    启动训练

    用 deepspeed 命令行工具或 torchrun 启动分布式训练。

快速上手

  1. 1

    安装

    通过 pip 安装 DeepSpeed。

    pip install deepspeed
  2. 2

    验证环境

    检查安装是否成功并查看可用加速器。

    ds_report
  3. 3

    修改训练脚本

    导入 deepspeed 并用 deepspeed.initialize 包装模型。

  4. 4

    启动训练

    使用 deepspeed 命令启动分布式训练。

    deepspeed --num_gpus=2 train.py

适合谁

  • 需要训练或微调大模型的研究者和工程师
  • 使用 PyTorch 和 GPU 集群的团队
  • 希望降低显存占用、提升训练效率的开发者
  • 需要部署大模型推理的工程人员

不太适合

  • 仅使用单卡小模型、无需分布式训练的用户
  • 不熟悉 PyTorch 和分布式训练的初学者

成熟度

  • 活跃度最近更新于 2026 年 11 月,持续活跃开发。
  • 文档README 详细,有专门网站、教程和博客,文档完善。
  • 社区4.3 万星、5000+ fork,有 Slack、知乎等渠道,社区活跃。
  • 上手难度API 设计简洁,但分布式训练本身有一定门槛。

同类项目怎么选

  • Megatron-LM英伟达开源,侧重张量并行和流水线并行,与 DeepSpeed 可结合使用。
  • FairScaleMeta 开源,提供类似的显存优化和并行工具,但生态和功能广度不及 DeepSpeed。
  • Colossal-AI主打多维并行和异构内存管理,集成度较高,但社区规模较小。

使用前注意

  • · 采用 Apache-2.0 许可,商用友好。
  • · 主要面向 NVIDIA GPU,其他硬件支持有限。
  • · 分布式训练需要多卡环境,调试和配置有一定复杂度。
  • · 部分高级功能(如 MoE、长序列)可能需要特定版本或额外依赖。

主题标签

deep-learningpytorchgpumachine-learningbillion-parametersdata-parallelismmodel-parallelisminferencepipeline-parallelismcompressionmixture-of-expertstrillion-parameterszero