SageMaker默认监测推理端点 发现延迟与闲置GPU
时间:2026年11月19日,亚马逊云科技(AWS)宣布 Amazon SageMaker AI 即日起对符合条件的生成式 AI 推理端点启用默认监测,自动跟踪响应时间、GPU 使用率和 serving 配置,无需用户手动设置。
地点:该功能目前已在 AWS 美东(北弗吉尼亚、俄亥俄)、美西(俄勒冈)、欧洲(爱尔兰、法兰克福)及亚太(新加坡、东京)区域上线,面向使用 GPU 实例与 vLLM serving 容器的生成式 AI 推理端点开放。
人物:AWS 机器learning博客与官方 What's New 页面发布了该功能;客户可通过 AWS Management Console 接收 AWS Health 告警,并在 SageMaker Studio 的 SageMaker AI Agentic Experience 中查看建议。
事件详情:SageMaker AI 现在默认监测生成式 AI 推理端点,自动识别三类问题:延迟漂移(响应时间相比过去一周的中位数趋势上升)、闲置 GPU(GPU 利用率长期低于容量)、以及配置落后(例如旧版 serving container、未启用推测解码 speculative decoding、缺失 GPU kernel tuning)。当问题持续一周后,系统会通过 AWS Health 向每个端点发送一条通知,不会读取用户的请求或响应内容。
背景:此前,推理端点的配置在部署后会随流量变化、提示长度变化和 serving 软件更新而逐渐失效,用户通常要等到性能投诉或账单异常才能察觉。AWS 早在 2026 年 4 月 22 日就推出了 GenAI Inference Recommendations 功能,允许用户主动测试不同实例类型和配置,但需要手动触发。
影响:此次更新把「一次性快照式」的推荐变成了「持续信号式」的自动监测。客户收到告警后,可以在 SageMaker Studio 中打开 Agentic Experience,让系统生成一个可编辑的 SageMaker Python SDK notebook,用端点的实际流量 profile 在独立计算资源上对比当前配置与候选方案的响应时间、吞吐量和每百万 token 成本。生产环境不会自动变更,直到用户主动应用结果。监测本身不额外收费,推荐任务仅收取标准 SageMaker 计算费用。
总结:对正在扩张大模型在线服务规模的团队而言,SageMaker AI 的默认监测意味着更早发现性能瓶颈和闲置算力,减少人工巡检成本。用户也可通过设置 OPT_OUT_TRACKING 环境变量选择退出监测。AWS 建议将选定的配置先应用到单一生产变体,并保留原有配置以便回滚。
参考来源:
AWS 官方博客
https://aws.amazon.com/cn/blogs/machine-learning/amazon-sagemaker-ai-now-detects-latency-drift-idle-gpus-and-missed-optimizations-on-your-inference-endpoints/
AWS What's New
https://aws.amazon.com/cn/about-aws/whats-new/2026/11/sagemaker-monitors-endpoints/
Unite.AI
https://www.unite.ai/aws-enables-default-monitoring-for-sagemaker-ai-inference-endpoints/
KiaDev.net
https://kiadev.net/news/2026-11-19-sagemaker-inference-default-monitoring
Data Phoenix
https://dataphoenix.info/news/aws-sagemaker-inference-endpoint-monitoring
West Loop Strategy
https://www.westloop.io/post/amazon-sagemaker-ai-now-detects-rising-response-times-idle-gpus-and-missed-optimizations-on-your-generative-ai-inference-endpoints
aws-news.com
https://aws-news.com/article/01a1f5b8-9074-8cfc-c230-f7507d09a068
ai-tokens.cn
https://ai-tokens.cn/news/news-7c0429e1122f880b.html







