进行中

SageMaker HyperPod Inference 支持 NVIDIA Dynamo

报道
1
信源
1
首次报道
11/18 07:33
最近更新
11/18 07:33

Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo 分布式推理框架,将 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由,与 HyperPod 的基础设施管理结合起来。 要采用受支持的 Dynamo 版本,用户需更新 add-on。推理引擎可选 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。

最新进展Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. SageMaker HyperPod Inference 支持 NVIDIA Dynamo

    AWS Machine Learning Blog 等 1 篇报道

官方一手信息1 篇

全部报道1 篇

#NVIDIA 英伟达#推理能力#开源生态#部署工程#产品更新