AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
NVIDIA 推出的可扩展 Agent 强化学习研究框架,原生对接 HuggingFace。
Molt 是一个面向 Agent 强化学习研究的开源框架,强调可扩展、Agent 优先和 HuggingFace 原生。它基于 Ray、vLLM 和 NeMo AutoModel 构建,支持全异步、多模态、多轮 Agent RL,可扩展到万亿参数级 MoE 模型。
推荐指数
适合研究者在 HuggingFace 生态内快速搭建和扩展 Agent RL 实验,代码量小、可读性高。
近 7 天
+90
新增 Star
总 Star 排名
#2887
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年6月23日
核心亮点
1Agent 优先设计
用 Env 或 ChatAgent 定义奖励,支持多轮工具调用、VLM 环境和 LLM 评判。
2全异步运行时
Ray 调度、vLLM 生成、训练与权重同步重叠,慢 episode 不阻塞整体。
3HuggingFace 原生
模型保持 PyTorch 模块和 HF 布局,同一 checkpoint 直接供 vLLM 和训练器使用。
4前沿规模 MoE
支持 TP/EP/CP 和 Adam CPU offload,同一入口可训练 4B 到 753B 模型。
5代码量小
RL 路径约 9.2K 行,三层薄封装,每个机制对应一个文件,便于修改。
适用场景
Agent 强化学习研究
例如:用 ChatAgent 定义多轮工具调用任务,训练模型学会使用搜索工具。
RLHF/RLVR 对齐实验
例如:基于 HuggingFace 模型,用自定义奖励函数做拒绝采样微调或可验证奖励训练。
大规模 MoE 训练
例如:在单节点 4B 模型配方基础上,通过调整并行参数扩展到 753B MoE 模型。
多模态 Agent 训练
例如:构建 VLM 环境,让模型根据图像内容进行多轮对话并获取奖励。
它是怎么工作的
第 1 步
定义 Agent 与环境
实现 Env.step() 或 ChatAgent.run(),用 Python 代码编写奖励逻辑。
第 2 步
Ray 调度进程
Ray 放置 Agent worker、vLLM 引擎和训练器,并通过异步队列传递轨迹。
第 3 步
vLLM 生成 rollout
vLLM 引擎根据当前权重生成 token,支持部分 rollout 和权重同步。
第 4 步
训练器更新权重
NeMo AutoModel + FSDP2 训练单个 actor,支持 TP/EP/CP 并行。
第 5 步
异步循环
生成、训练和权重同步重叠进行,慢 episode 只延迟自身。
快速上手
- 1
克隆仓库
从 GitHub 克隆 Molt 仓库到本地。
git clone https://github.com/NVIDIA-NeMo/labs-molt.git - 2
安装依赖
按照 README 安装部分安装所需 Python 包和依赖。
- 3
运行快速开始脚本
使用示例脚本启动 RL 训练,例如 FlashREINFORCE 快速开始。
bash examples/scripts/quick_start/rl_flash_reinforce_r1d_1p5b.sh
适合谁
- 强化学习研究者
- Agent 系统开发者
- HuggingFace 生态用户
- 需要大规模 MoE 训练的研究团队
不太适合
- 只想用现成 RLHF 工具不做二次开发的工程师
- 没有 GPU 集群资源的个人开发者
成熟度
- 活跃度2026 年 6 月创建,11 月仍有更新,近期有新闻和功能合入。
- 文档有项目页、指南、技术报告和视频,README 结构清晰。
- 社区1356 star、149 fork、21 个开放 issue,社区规模中等。
- 上手难度需要理解 Ray、vLLM 和分布式训练,上手有一定门槛。
同类项目怎么选
- OpenRLHF更侧重 RLHF 全流程,Molt 更强调 Agent 异步和多轮交互。
- verl字节跳动开源,同样支持 RL 训练,但 Molt 代码量更小且 HF 原生。
- TRLHuggingFace 官方库,偏重易用性,Molt 更面向研究和扩展性。
使用前注意
- · 采用 Apache-2.0 许可,商用需保留版权声明。
- · 依赖 Ray、vLLM 和 NeMo AutoModel,环境配置较复杂。
- · 大规模训练需要多 GPU 集群和相应显存资源。
- · 项目较新,API 可能随研究进展变化。
