进行中
SageMaker AI 推理端点新增默认监控
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/20 05:28
- 最近更新
- 11/20 05:28
Amazon SageMaker AI 现可监控生成式 AI 推理端点,识别延迟漂移、GPU 闲置和配置缺口三类问题,并通过 AWS Health 发送通知。 该监控对使用 vLLM 容器和 GPU 实例的端点默认开启、无需配置,用户也可选择对端点关闭。AWS 称监控不读取请求或响应内容,也不产生 GPU 费用;运行基准测试则按标准 SageMaker AI 收费,或使用已有的机器学习预留。 监控只读取延迟、GPU 利用率和服务配置等运行信号,不涉及请求内容。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 1
- 热点排名
- —
11/20 06:0011/20 20:00
事件进展1 个阶段
AWS Machine Learning Blog 等 1 篇报道
官方一手信息1 篇
Amazon SageMaker AI 新增推理端点延迟漂移、GPU 闲置与优化缺失检测
Amazon SageMaker AI 现可监控生成式 AI 推理端点,发现延迟漂移、GPU 闲置和配置缺口三类问题,并通过 AWS Health 发送通知。监控对使用 vLLM 容器和 GPU 实例的端点默认开启、无需配置,只读取延迟、GPU 利用率和服务配置等运行信号,不读取请求或响应内容。
AWS Machine Learning Blog一手
全部报道1 篇
Amazon SageMaker AI 新增推理端点延迟漂移、GPU 闲置与优化缺失检测
Amazon SageMaker AI 现可监控生成式 AI 推理端点,发现延迟漂移、GPU 闲置和配置缺口三类问题,并通过 AWS Health 发送通知。监控对使用 vLLM 容器和 GPU 实例的端点默认开启、无需配置,只读取延迟、GPU 利用率和服务配置等运行信号,不读取请求或响应内容。
AWS Machine Learning Blog一手
相关
#推理能力#部署工程#产品更新
