观察中

Google 在 Tunix 开源 TPU 零训练推理偏差实现

报道
1
信源
1
首次报道
11/16 00:00
最近更新
11/16 00:00

Google 在 Tunix 中开源了 Zero-TIM 实现,使采样器解码、服务预填充与训练器前向在相同权重下对同一动作给出逐位相同的 logprob,从而在 TPU 上实现训练与推理一致。该实现基于 JAX/XLA 和 Pallas,已在 64 颗 TPU v5p(DP8×TP8)多主机环境验证。 Google 称,这套内核与集合通信模式可作为可复用蓝图,供团队在分布式 JAX/TPU 栈上实现逐位一致的 on-policy 强化学习。目前支持范围尚未覆盖所有架构,Google 表示正在扩展对线性注意力和混合专家(MoE)模型的支持。

最新进展Google 在 TPU 上用 Zero-TIM 实现训练与推理逐位一致

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
0
6 小时新加入
0
24 小时新报道
0
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. Tunix 开源 TPU 零训练推理偏差实现

    Google Developers Blog 等 1 篇报道

官方一手信息1 篇

全部报道1 篇

#Google / Gemini#部署工程#数据与训练#教程实践