AWS SageMaker跨区推理路由正式可用
时间:2026年11月18日
地点:AWS 全球商业区域 / Salesforce 服务的 30 多个全球区域
人物:Richard Chang(Salesforce 软件工程架构师)、Amit Gupta(Salesforce AI/ML 高级总监)、Mark Wang(Salesforce 软件工程 PMTS)、Apoorva Chandra(Amazon SageMaker AI 推理团队产品经理)、Hrushikesh Gangur(AWS 首席解决方案架构师)
事件详情:Amazon SageMaker AI 的跨区域推理路由(cross-Region inference routing)于 2026 年 11 月 18 日正式商用,AWS 官方公告称实时推理已覆盖 32 个商业区域、异步推理覆盖 25 个区域,且不额外收费,客户按标准 SageMaker AI 与 CloudWatch 计费。同日 AWS 机器学习博客披露,Salesforce 的 Agentforce Foundation 团队已把这套能力用在生产环境,其模型服务覆盖 Agentforce 与 Salesforce Trust Layer,横跨 30 多个全球区域和数百个 AWS 账户。路由器是账户内的区域性 SageMaker AI 资源,应用不再直接调用端点,而是调用路由器并传入一个路由目标名,路由目标按完整 ARN 列出可承接该模型的端点与推理组件,因此目的地可以位于其他区域甚至其他 AWS 账户。路由器优先使用本地区域,只有当平台故障、模型容器 5xx、限流或超时等健康信号持续下降时,才把逐步增加的新请求分流到健康目的地,通常约一分钟内开始动作,恢复后流量再缓慢回迁;对未真正执行模型的失败请求(例如被限流),路由器会在另一个目的地重试一次。输入错误这类客户端错误和单纯的模型响应延迟都不触发分流,路由器本身也不部署模型、不复制模型制品、不增加实例。
背景:Salesforce 过去为每个区域单独托管模型,容量被切得碎片化:一些区域实例闲置,另一些区域却不够用,而按各客户流量峰值的重叠部分预留容量成本过高,客户新业务单元又要求快速扩容。早期做法是用自研的 Internal Gateway 配健康检查、重试和区域切换逻辑,把本地端点处理不了的流量转发到其他区域,但存在两个缺口:网关拿不到本地或远端端点的容量信号,判断不了何时该转移、目的地是否还有余量;跨区域流量还必须经 NAT 网关和互联网网关离开 VPC,走公网 AWS 网络。设计评审中还担心故障级联风险——事故期间转移流量可能压垮下一个区域,因此需要对跨区域流量设置上限。
影响:Salesforce 把路由器接进 Internal Gateway 后,容量感知、健康评估和故障转移从自研代码下沉到路由层,团队原有的健康检查、重试与区域切换逻辑可以被替换,响应中返回的 InvokedRoutedResourceArn 与 RoutingReason 字段则让每个请求实际落在哪个区域、为何转移成为一等遥测。故障转移测试中,本地 us-west-2 端点被压满约五分钟后,p50 延迟从 0.2 秒升到 45 至 58 秒,流量仍留在本地区域;直到请求超过模型容器 60 秒的处理超时并开始报错,路由器才开始分流,首批请求在首次报错约两分钟后到达 us-east-2,再过约一分钟约 78% 的探测流量由 us-east-2 承接,其余 20% 至 25% 留在本地以便探测恢复。分流后 p50 延迟回到 0.2 秒,跨区域链路在 p50 上增加的延迟不到 100 毫秒;本地端点恢复后流量约十分钟内逐步回流,整个故障转移与回切过程没有出现错误。接收端可用 CrossRegionTrafficConfig 设置跨区域流量上限,按每实例请求速率和远端流量可占用的最大容量比例计算,本地流量不计入该上限。
总结:跨区域推理路由把何时该转移、转移给谁、目的地还有多少余量这三件事从每个应用里抽出来,做成了 SageMaker AI 的托管能力,同时用端点策略划清了跨账号调用的授权边界,端点所有者只放行指定路由器。这对 Salesforce 这类多区域大模型服务商意味着容量短缺不再直接变成可用性事故。但路由器不创建容量也不复制模型制品,每个区域仍要自行预留余量并配置好自动扩缩容,否则所有合格目的地同时繁忙时,调用方只会拿到目的地自己的错误。
常见问题:
问:跨区域推理路由会把客户数据传到别的区域吗?
答:标记数据驻留要求的请求被锁定在本地路由目标,始终不出本地区域;能否调用其他区域由端点所有者通过端点策略决定。
问:调用方还需要自己写故障转移逻辑吗?
答:不需要,路由层负责健康检测、分流与回退,调用方只调用路由器并传入路由目标名。
参考来源:
AWS 机器学习博客:Salesforce 如何在 SageMaker AI 上做全球规模模型服务
https://aws.amazon.com/blogs/machine-learning/how-salesforce-is-advancing-global-scale-model-serving-with-cross-region-inference-routing-in-amazon-sagemaker-ai/
AWS 官方公告:SageMaker AI 跨区域推理路由正式商用
https://aws-news.com/article/01a1f094-8260-7253-1748-75bf930ec980
West Loop Strategy:AWS 合作伙伴解读
https://www.westloop.io/post/amazon-sagemaker-ai-now-supports-cross-region-inference-routing
Tech and Business:跨区域模型推理路由正式商用的行业报道
https://techandbusiness.org/newswire/RV1EUkBOvxdUqVOsXw8Oqh
AWS CLI CreateInferenceRouter 官方 API 参考
https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-inference-router.html
奇点 AI 索引:AWS 机器学习博客中文编译
https://ai.qidiandaohang.com/news/13334224/
ATech Hot:繁体中文编译版
https://hot.atechcom.net/items/t5xviu226h475fkruwzyooo8k







