产品58
Amazon SageMaker AI 新增推理端点延迟漂移、GPU 闲置与优化缺失检测
原标题:Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints
Amazon SageMaker AI 现可监控生成式 AI 推理端点,发现延迟漂移、GPU 闲置和配置缺口三类问题,并通过 AWS Health 发送通知。监控对使用 vLLM 容器和 GPU 实例的端点默认开启、无需配置,只读取延迟、GPU 利用率和服务配置等运行信号,不读取请求或响应内容。
来源仅允许展示摘要,全文请到原文阅读。
