NVIDIA GitHub avatar

Megatron-LM

Python
大模型规模训练框架NVIDIA最近推送 2026年11月19日
训练与微调NOASSERTION18.4k4,7512,140 issues7 天 +59

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

NVIDIA 开源的大规模 Transformer 训练框架,用多种并行策略把训练扩展到数千 GPU。

仓库包含两部分:Megatron-LM 是带预配置训练脚本的参考实现,适合研究团队学习和快速实验;Megatron Core 是可组合的库,提供 Transformer 构建块、张量/流水线/数据/专家/上下文并行、FP16 到 FP4 混合精度和多种模型架构,适合自建训练框架。配套的 Megatron Bridge 负责 Hugging Face 与 Megatron 检查点互转。

推荐指数

5.0

大规模 LLM 预训练的事实标准之一,有 NVIDIA 官方维护和持续性能数据,但门槛在硬件与分布式经验。

近 7 天

+59

新增 Star

总 Star 排名

#388

雷达追踪的 3,958 个 AI 仓库中

创建于

2019

2019年3月22日

核心亮点

  • 1多种并行策略

    支持 TP、PP、DP、EP、CP,可按模型规模组合切分。

  • 2低精度训练

    覆盖 FP16、BF16、FP8、FP4 混合精度。

  • 3参考训练脚本

    Megatron-LM 提供预配置脚本和示例,可直接跑通训练。

  • 4检查点互转

    Megatron Bridge 支持与 Hugging Face 双向转换。

  • 5官方性能基准

    README 公布 DeepSeek-V3、Qwen3 等在 GB200/GB300 上的吞吐数据。

适用场景

  • 大模型预训练

    例如:在 256 张 GB300 上按 README 配方预训练 DeepSeek-V3 671B。

  • 分布式训练学习

    例如:用 Megatron-LM 示例脚本在小集群上理解 TP/PP 切分方式。

  • 自建训练框架

    例如:把 Megatron Core 的并行层和优化器嵌入公司内部训练流水线。

  • 模型格式迁移

    例如:用 Megatron Bridge 把 Hugging Face 权重转成 Megatron 检查点继续训练。

它是怎么工作的

  1. 第 1 步

    准备环境

    安装 PyTorch 2.6+ 与 megatron-core,或使用 NGC 容器。

  2. 第 2 步

    选择并行配置

    按模型大小和 GPU 数量设定 TP、PP、DP、EP、CP 的组合。

  3. 第 3 步

    加载数据与模型

    使用内置数据集加载器和 Transformer 构建块组装模型。

  4. 第 4 步

    分布式训练

    启动训练脚本,框架负责通信、混合精度和梯度同步。

  5. 第 5 步

    保存与导出

    用分布式检查点保存,或经 Bridge 导出为 Hugging Face 格式。

快速上手

  1. 1

    安装库

    从 PyPI 安装 Megatron Core。

    uv pip install megatron-core
  2. 2

    源码安装

    克隆仓库后以可编辑模式安装,内存不足时限制并行编译数。

    git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e .
  3. 3

    跑第一个训练

    按官方快速开始文档准备数据并执行端到端训练示例。

适合谁

  • 有 GPU 集群的模型研究团队
  • 需要预训练或继续训练大模型的公司
  • 想学习分布式并行实现的工程师
  • 要自建训练框架的 ML 平台开发者

不太适合

  • 只有单卡或少量消费级显卡的个人
  • 只想做推理部署的用户
  • 不熟悉分布式训练调参的初学者

成熟度

  • 活跃度最近更新在 2026 年 11 月,版本持续迭代并公布路线图。
  • 文档有官方文档站、安装与并行指南,但部分链接指向开发分支。
  • 社区1.8 万 star、4700 fork,2100 个开放 issue 说明讨论活跃但积压较多。
  • 上手难度需要多卡环境和分布式知识,源码编译也较吃内存。

同类项目怎么选

  • DeepSpeed微软方案,以 ZeRO 显存优化和易用集成见长,并行策略组合不如 Megatron 细。
  • PyTorch FSDPPyTorch 原生分片数据并行,上手简单,但缺少 TP/PP 等完整组合。
  • Colossal-AI提供多种并行与异构内存管理,生态和官方基准规模小于 Megatron。

使用前注意

  • · 许可证标识为 NOASSERTION,README 标注 Apache,商用前需核对 LICENSE 文件。
  • · 主要面向 NVIDIA GPU,其他硬件支持有限。
  • · 大规模训练需要多卡集群,成本高。
  • · README 中部分链接指向个人分支,以官方文档为准。

主题标签

large-language-modelsmodel-paratransformers