产品55
Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
原标题:Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
来源仅允许展示摘要,全文请到原文阅读。
