产品55

Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo

原标题:Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

AWS Machine Learning Blog· Vinay Arora发布时间 (北京时间)

Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。

来源仅允许展示摘要,全文请到原文阅读。
NVIDIA 英伟达推理能力开源生态部署工程产品更新#产品更新#部署/工程#推理#开源生态#Google