精选教程60

Meta 与 vLLM 在 TPU v7 上将 0.6B 稠密模型 RL 全周期从约 100 分钟优化到 56 秒

原标题:Reinforcement Learning: Optimizing 0.6B Dense Models on TPU v7 via vLLM

vLLM Blog· Loki Chen, Yang Song, Hongye Xie, Ming Lei, Greg Rehm, Chongyang Bai, Dre Olgiati, Bob Kamma, Tej Choudhary, Hang Cui, Imed Zitouni, Hamed Firooz (Meta ASA); Mingfu Liang, Kavosh Asadi, Yufei Li, Frank Shyu, Parish Aggarwal, Senthil Manickavelu, Xi Liu, Luke Simon (Meta Ranking AI Research)发布时间 (北京时间)

Meta 与 vLLM 团队在 64 芯片 Google Cloud TPU v7 切片上,用 Qwen3-0.6B 跑 GRPO 真 8K 负载,把一次 rollout 到权重更新的完整周期从约 100 分钟降到 56 秒(20 步中位数 57.9 秒),解码吞吐从约 4K 提升到约 183K tokens/s。

推荐理由Meta 与 vLLM 团队公开了在 TPU v7 上把 0.6B 稠密模型 RL 全周期从约 100 分钟压到 56 秒的完整调优路径与失败结论。

来源仅允许展示摘要,全文请到原文阅读。
Google / Gemini开源生态部署工程数据与训练教程实践#教程/实践#部署/工程#数据/训练#开源生态#Google