产品50
Salesforce 如何用 Amazon SageMaker AI 跨区域推理路由支撑全球模型服务
原标题:How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
Salesforce 在 Amazon SageMaker AI 上部署跨区域推理路由,让应用通过单一调用路径把请求分发到多个区域和账号中已部署的端点。该路由按近期请求结果判断端点健康度,出现 5xx、限流或超时后约一分钟内开始把新增流量迁往健康端点,恢复后数分钟内缓慢回流。Salesforce 将其接入 Internal Gateway,数据驻留请求仍固定在本区域端点。
来源仅允许展示摘要,全文请到原文阅读。
