精选产品62

Google 在 Google Cloud 上正式开放 Pathways 分布式训练系统

原标题:What is Pathways? Single-controller training for large models

Google Developers Blog发布时间 (北京时间)

Google 宣布 Pathways 在 Google Cloud Platform 正式可用(General Availability)。Pathways 是 Google 用来训练 Gemini 等自家大模型的分布式系统,它让单个 Python 客户端把整个计算描述成图,由分布式运行时负责放置、搬运张量并保持加速器忙碌。

推荐理由原文由 Google 工程师解释 Pathways 的单控制器执行模型,并对比 SPMD 与 Ray 的分层差异,便于判断大规模训练编排的取舍。

来源仅允许展示摘要,全文请到原文阅读。
Google / Gemini部署工程数据与训练产品更新#产品更新#部署/工程#数据/训练#Google