NVIDIA-NeMo GitHub avatar

labs-molt

Python
NeMo 强化学习框架NVIDIA-NeMo最近推送 2026年11月18日
训练与微调Apache-2.01,36315321 issues7 天 +90

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

NVIDIA 推出的可扩展 Agent 强化学习研究框架,原生对接 HuggingFace。

Molt 是一个面向 Agent 强化学习研究的开源框架,强调可扩展、Agent 优先和 HuggingFace 原生。它基于 Ray、vLLM 和 NeMo AutoModel 构建,支持全异步、多模态、多轮 Agent RL,可扩展到万亿参数级 MoE 模型。

推荐指数

4.0

适合研究者在 HuggingFace 生态内快速搭建和扩展 Agent RL 实验,代码量小、可读性高。

近 7 天

+90

新增 Star

总 Star 排名

#2887

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年6月23日

核心亮点

  • 1Agent 优先设计

    用 Env 或 ChatAgent 定义奖励,支持多轮工具调用、VLM 环境和 LLM 评判。

  • 2全异步运行时

    Ray 调度、vLLM 生成、训练与权重同步重叠,慢 episode 不阻塞整体。

  • 3HuggingFace 原生

    模型保持 PyTorch 模块和 HF 布局,同一 checkpoint 直接供 vLLM 和训练器使用。

  • 4前沿规模 MoE

    支持 TP/EP/CP 和 Adam CPU offload,同一入口可训练 4B 到 753B 模型。

  • 5代码量小

    RL 路径约 9.2K 行,三层薄封装,每个机制对应一个文件,便于修改。

适用场景

  • Agent 强化学习研究

    例如:用 ChatAgent 定义多轮工具调用任务,训练模型学会使用搜索工具。

  • RLHF/RLVR 对齐实验

    例如:基于 HuggingFace 模型,用自定义奖励函数做拒绝采样微调或可验证奖励训练。

  • 大规模 MoE 训练

    例如:在单节点 4B 模型配方基础上,通过调整并行参数扩展到 753B MoE 模型。

  • 多模态 Agent 训练

    例如:构建 VLM 环境,让模型根据图像内容进行多轮对话并获取奖励。

它是怎么工作的

  1. 第 1 步

    定义 Agent 与环境

    实现 Env.step() 或 ChatAgent.run(),用 Python 代码编写奖励逻辑。

  2. 第 2 步

    Ray 调度进程

    Ray 放置 Agent worker、vLLM 引擎和训练器,并通过异步队列传递轨迹。

  3. 第 3 步

    vLLM 生成 rollout

    vLLM 引擎根据当前权重生成 token,支持部分 rollout 和权重同步。

  4. 第 4 步

    训练器更新权重

    NeMo AutoModel + FSDP2 训练单个 actor,支持 TP/EP/CP 并行。

  5. 第 5 步

    异步循环

    生成、训练和权重同步重叠进行,慢 episode 只延迟自身。

快速上手

  1. 1

    克隆仓库

    从 GitHub 克隆 Molt 仓库到本地。

    git clone https://github.com/NVIDIA-NeMo/labs-molt.git
  2. 2

    安装依赖

    按照 README 安装部分安装所需 Python 包和依赖。

  3. 3

    运行快速开始脚本

    使用示例脚本启动 RL 训练,例如 FlashREINFORCE 快速开始。

    bash examples/scripts/quick_start/rl_flash_reinforce_r1d_1p5b.sh

适合谁

  • 强化学习研究者
  • Agent 系统开发者
  • HuggingFace 生态用户
  • 需要大规模 MoE 训练的研究团队

不太适合

  • 只想用现成 RLHF 工具不做二次开发的工程师
  • 没有 GPU 集群资源的个人开发者

成熟度

  • 活跃度2026 年 6 月创建,11 月仍有更新,近期有新闻和功能合入。
  • 文档有项目页、指南、技术报告和视频,README 结构清晰。
  • 社区1356 star、149 fork、21 个开放 issue,社区规模中等。
  • 上手难度需要理解 Ray、vLLM 和分布式训练,上手有一定门槛。

同类项目怎么选

  • OpenRLHF更侧重 RLHF 全流程,Molt 更强调 Agent 异步和多轮交互。
  • verl字节跳动开源,同样支持 RL 训练,但 Molt 代码量更小且 HF 原生。
  • TRLHuggingFace 官方库,偏重易用性,Molt 更面向研究和扩展性。

使用前注意

  • · 采用 Apache-2.0 许可,商用需保留版权声明。
  • · 依赖 Ray、vLLM 和 NeMo AutoModel,环境配置较复杂。
  • · 大规模训练需要多 GPU 集群和相应显存资源。
  • · 项目较新,API 可能随研究进展变化。

主题标签

agentic-rlexpert-parallelismfsdpllmrl-frameworkrlhfrlvrtensor-parallelismhuggingfacecontext-parallelism