进行中
SageMaker HyperPod Inference 支持 NVIDIA Dynamo
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/18 07:33
- 最近更新
- 11/18 07:33
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo 分布式推理框架,将 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由,与 HyperPod 的基础设施管理结合起来。 要采用受支持的 Dynamo 版本,用户需更新 add-on。推理引擎可选 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
SageMaker HyperPod Inference 支持 NVIDIA Dynamo
AWS Machine Learning Blog 等 1 篇报道
官方一手信息1 篇
Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
AWS Machine Learning Blog一手
全部报道1 篇
Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。
AWS Machine Learning Blog一手
相关
#NVIDIA 英伟达#推理能力#开源生态#部署工程#产品更新
