精选产品60
Google Cloud 开源训练框架 MaxText 支持长上下文训练
原标题:Announcing Long-Context Training on TPUs with MaxText Context Parallelism
Google Cloud 在开源 JAX 训练框架 MaxText v0.2.4 中加入长上下文训练支持,提供 All-gather、A2A(DeepSpeed Ulysses)、P2P(Ring Attention)和 A2A+P2P 混合(USP)四种上下文并行策略,均基于 Tokamax 的 Splash Attention 内核。
推荐理由原文给出四种上下文并行策略的取舍与 TPU 实测 MFU,可据此为超长序列训练选型。
来源仅允许展示摘要,全文请到原文阅读。
