产品58

Amazon SageMaker AI 实时端点支持 KV 缓存感知路由

原标题:Amazon SageMaker AI real-time endpoints now support KV cache aware routing

AWS Machine Learning Blog· Dmitry Soldatkin发布时间 (北京时间)

Amazon SageMaker AI 为实时端点新增 KV 缓存感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给持有最长缓存匹配且不过载的实例。

来源仅允许展示摘要,全文请到原文阅读。
推理能力部署工程产品更新#产品更新#部署/工程#推理