AWS HyperPod推出全局推理网关 跨区域统一端点
时间:2026年11月20日
地点:美国(AWS全球区域)
人物:AWS机器学习产品团队
事件详情:亚马逊云科技正式发布Amazon SageMaker HyperPod Global Inference Gateway,为大规模AI推理提供跨集群、跨区域的统一端点管理。该服务允许团队将所有HyperPod集群注册到一个统一端点,根据可用KV缓存容量、队列深度、区域 proximity 和错误率自动路由请求,无需手动管理多个端点或构建自定义负载均衡器。当某个集群故障时,流量会自动切换到其他健康集群,且无需客户端更改配置。请求通过SigV4和IAM认证,仅通过AWS PrivateLink传输,并支持OpenAI兼容请求和JWT自定义身份令牌。该服务目前已在13个AWS区域上线,覆盖美国、欧洲和亚太地区。
背景:此前,团队若要在多个集群和区域部署模型,需要手动管理大量端点。以四个模型部署在五个集群、两个区域为例,客户端原本需追踪20个端点;即便此前已有单集群Inference Gateway,客户端仍需自行选择集群,故障转移也需工程师手动修改配置。Global Inference Gateway作为第二层路由,将单集群网关的集群内选择提升为跨集群选择,大幅简化运营复杂度。
影响:该服务通过智能路由显著提升GPU利用率,使闲置算力得到充分利用,避免请求在饱和集群排队等待。Bagelcode的Beta测试显示,当一个集群无法继续服务模型时,系统可在两个区域间保持服务连续性。对于大模型推理场景,这意味着更低的延迟和更高的吞吐量。此外,统一的OpenAI兼容接口使现有应用迁移成本大幅降低。
总结:AWS HyperPod Global Inference Gateway是继2026年9月单集群Inference Gateway之后,在大规模推理基础设施上的又一次重要升级。通过一个端点管理跨区域集群,团队可以更专注于模型本身而非基础设施运维。目前服务按使用量计费,未公布单独的网关定价。随着AI模型规模持续扩大,跨区域弹性推理正成为云厂商的标配能力。
参考来源:
AWS机器学习博客
https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-global-inference-gateway-one-endpoint-across-regions-and-clusters/
AWS News Feed
https://aws-news.com/article/2026-11-20-introducing-amazon-sagemaker-hyperpod-global-inference-gateway-one-endpoint-across-regions-and-clusters
techandbusiness.org
https://techandbusiness.org/newswire/5Qz-rUQGa59rn9nWYhG0Ic
DEV Community
https://dev.to/mikefluff/aws-adds-one-endpoint-routing-across-hyperpod-gpu-clusters-416p
explainx.ai
https://explainx.ai/blog/amazon-sagemaker-hyperpod-global-inference-gateway-november-2026







