RLinf GitHub avatar

RLinf

Python
具身智能强化学习框架RLinf最近推送 2026年11月19日
训练与微调Apache-2.05,675850347 issues7 天 +40

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

面向具身智能与 Agentic AI 的开源强化学习训练基础设施。

RLinf 是一个灵活、可扩展的开源强化学习基础设施,名字中的 inf 既指 Infrastructure,也指 Infinite。它面向具身智能(机器人)与 Agentic AI,提供从仿真环境、rollout 到分布式训练的完整支撑,并已扩展到真机后训练与多模态模型。

推荐指数

4.0

功能覆盖广、更新活跃,适合做具身 RL 训练的研究与工程团队,但上手门槛和依赖复杂度不低。

近 7 天

+40

新增 Star

总 Star 排名

#1142

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年8月14日

核心亮点

  • 1仿真与真机打通

    覆盖 MuJoCo Warp、Isaac Sim 等仿真,以及 LeKiwi、ARX X5、SO-101 等真机流程。

  • 2VLA 后训练

    支持 OpenPI π₀/π₀.₅、Psi0 等视觉语言动作模型的 PPO、GRPO 等强化学习后训练。

  • 3多加速器后端

    v0.4 提供八种加速器后端,并支持 PhyAI 等 rollout 引擎。

  • 4多模态生成 RL

    支持 SD3 图像与 Wan2.2 视频生成的 DiffusionART 微调。

  • 5文档与社区齐全

    有中英文文档、官网、论文、Slack/Discord/微信群等渠道。

适用场景

  • 机器人策略强化学习

    例如:在 LIBERO 或 GenieSim 中用 PPO/GRPO 训练 π₀.₅ 操作策略。

  • 真机数据采集与后训练

    例如:用 Pico 遥操作采集 ARX X5 双臂数据,再做 SFT 与 RL 后训练。

  • VLA 模型评测

    例如:把官方 π₀.₅ 权重转成 OpenPI 格式,在 RoboDojo 的 55 个场景中评测。

  • 生成模型 RL 微调

    例如:用 OCR 奖励对 SD3 或 Wan2.2 做 DiffusionART 微调。

它是怎么工作的

  1. 第 1 步

    选择环境

    接入仿真器或真机驱动,注册为训练环境。

  2. 第 2 步

    配置模型与算法

    选择 VLA 或多模态模型,指定 PPO、GRPO 等算法。

  3. 第 3 步

    分布式 rollout

    通过 rollout 引擎并行采样,支持权重热同步。

  4. 第 4 步

    训练与评测

    在加速器后端上训练,并用基准或真机任务评估。

快速上手

  1. 1

    阅读文档

    先看中英文 ReadTheDocs 文档,按任务类型选示例。

  2. 2

    安装依赖

    按文档安装 Python 环境与所选仿真器/加速器依赖。

  3. 3

    跑示例

    从 LIBERO、MuJoCo Warp 等现成示例开始验证流程。

适合谁

  • 具身智能与机器人学习研究者
  • 做 VLA 后训练的算法工程师
  • 需要分布式 RL 训练平台的团队

不太适合

  • 只想跑通简单 RL demo 的初学者
  • 没有 GPU 或机器人硬件的个人开发者

成熟度

  • 活跃度2025 年创建,2026 年 11 月仍在密集更新,版本迭代快。
  • 文档有中英文文档、官网和论文,但功能面广,部分新特性文档仍在补充。
  • 社区5.6k star、847 fork,有 Slack/Discord/微信群,但 345 个开放 issue 说明维护压力不小。
  • 上手难度涉及仿真器、真机、多种加速器与模型,环境配置和上手成本较高。

同类项目怎么选

  • LeRobot偏数据集与策略工具链,RLinf 更侧重分布式 RL 训练基础设施。
  • Isaac LabNVIDIA 的机器人仿真训练框架,RLinf 可与其生态配合并覆盖更多模型与真机流程。

使用前注意

  • · 依赖仿真器、GPU 与机器人硬件,环境配置复杂。
  • · 功能更新很快,接口和文档可能随版本变化。
  • · 开放 issue 较多,遇到问题需自行排查或社区求助。
  • · 采用 Apache-2.0 许可,商用前仍需确认第三方组件许可。

主题标签

reinforcement-learningagentic-airlinfvla-rlembodied-airl-infra