精选教程62
Google 用 Tunix 在 TPU 上训练 Gemma 4 多轮工具调用智能体
原标题:Multi-Turn Agentic Reinforcement Learning with Tunix and Gemma 4 on Google TPUs
AI 速览
根据原文整理
Google 用 Tunix 在单台 Cloud TPU v6e-8 上对 Gemma 4 E2B 做多轮智能体强化学习,Plane Strike 胜率从 9.4% 升到 95%。
- 胜率变化
- 9.4% → 95%
- 平均步数
- 22.44 → 约 16
- 训练步数
- 100 步
- 训练硬件
- TPU v6e-8
- 方法
- 用 Tunix 的 agentic RL 管线,以 GRPO 训练 Gemma 4 E2B 在 6x6 棋盘上调用 strike 工具。
- 管线
- 分四部分:任务环境、工具与聊天模板解析器、对话智能体、轨迹收集与 GRPO 学习器。
- 结果
- 100 步后工具调用合规率接近 100%,无效动作接近 0,重复打击从约 0.55 降到 0.15。
- 局限
- 目前一局内所有打击共享轨迹级奖励,更细的逐轮信用分配还能继续提升。
- 下一步
- 完整代码在 planestrike-gemma4-rl 仓库,可参照 Tunix 文档迁移到其他多轮任务。
为什么值得看想用 TPU 训练多轮工具调用智能体的开发者,可照这套代码和四步管线复现。
由 AI 阅读原文后整理,可能有疏漏,细节以原文为准。
