观察中
Google 在 Tunix 开源 TPU 零训练推理偏差实现
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/16 00:00
- 最近更新
- 11/16 00:00
Google 在 Tunix 中开源了 Zero-TIM 实现,使采样器解码、服务预填充与训练器前向在相同权重下对同一动作给出逐位相同的 logprob,从而在 TPU 上实现训练与推理一致。该实现基于 JAX/XLA 和 Pallas,已在 64 颗 TPU v5p(DP8×TP8)多主机环境验证。 Google 称,这套内核与集合通信模式可作为可复用蓝图,供团队在分布式 JAX/TPU 栈上实现逐位一致的 on-policy 强化学习。目前支持范围尚未覆盖所有架构,Google 表示正在扩展对线性注意力和混合专家(MoE)模型的支持。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 0
- 6 小时新加入
- 0
- 24 小时新报道
- 0
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Google Developers Blog 等 1 篇报道
官方一手信息1 篇
Google 在 TPU 上用 Zero-TIM 实现训练与推理逐位一致
Google 在 Tunix 中实现 Zero-TIM,使采样器解码、服务预填充与训练器前向在相同权重下对同一动作给出逐位相同的 logprob,并在 64 颗 TPU v5p(DP8×TP8)多主机环境验证。
Google Developers Blog一手精选
全部报道1 篇
Google 在 TPU 上用 Zero-TIM 实现训练与推理逐位一致
Google 在 Tunix 中实现 Zero-TIM,使采样器解码、服务预填充与训练器前向在相同权重下对同一动作给出逐位相同的 logprob,并在 64 颗 TPU v5p(DP8×TP8)多主机环境验证。
Google Developers Blog一手精选
相关
#Google / Gemini#部署工程#数据与训练#教程实践
