进行中

SageMaker AI 实时端点新增 KV 缓存感知路由

报道
1
信源
1
首次报道
11/18 05:11
最近更新
11/18 05:11

Amazon SageMaker AI 为实时端点新增 KV 缓存感知路由:根据模型容器上报的缓存状态,把请求发给缓存匹配最长且不过载的实例。AWS 称该功能不额外收费,已在所有支持 SageMaker AI 实时推理的商业区域上线。 使用有前提:仅支持 AWS vLLM Deep Learning Container(vLLM 0.33.0 及以上,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 及以上);单个模型端点至少要有两个实例,或推理组件至少要有两个副本(可位于同一实例),路由才会生效。

最新进展Amazon SageMaker AI 实时端点支持 KV 缓存感知路由

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. SageMaker AI 实时端点支持 KV 缓存感知路由

    AWS Machine Learning Blog 等 1 篇报道

官方一手信息1 篇

全部报道1 篇

#推理能力#部署工程#产品更新