SageMaker推理端点支持NVIDIA MIG分区

时间：2026年11月6日 地点：美国 人物：AWS、NVIDIA、Salesforce软件工程架构师Richard Chang 事件详情：亚马逊云服务于11月6日宣布，Amazon SageMaker Inference现已支持NVIDIA Multi-Instance GPU功能，允许多个硬件隔离的模型在实时端点上共享一个加速器，而非为每个部署分配整块GPU。该功能通过Multi-Instance GPU为每个分区分配固定的计算单元份额和专用内存块，并在硬件层面强制执行隔离。Salesforce帮助定义了需求并验证了初始实现，其软件工程架构师Richard Chang表示，公司预期Multi-Instance GPU能够安全地整合工作负载、提高GPU利用率、降低推理成本，同时保持可预测的性能和隔离性。 背景：此前，整个GPU分配方式存在两个主要限制：一是加速器数量上限决定了单个实例能托管多少模型，无论每个模型使用多少内存或计算资源；二是考虑使用更新GPU的客户必须分配整个设备。Multi-Instance GPU技术通过将每个GPU划分为最多七个隔离分区来解决这一问题，每个分区拥有专用的内存和计算资源。由于每个模型保持常驻，这种安排还避免了多模型端点首次使用将模型加载到共享设备时产生的延迟。 影响：该功能目前仅限于使用推理组件的实时端点，单模型端点、无服务器端点和异构实例池无法进行分区，异步工作负载也不在功能范围内，因为异步调用无法定位推理组件。配置分区无需更改应用程序代码，也无需新的API操作、资源类型或AWS Identity and Access Management操作。该功能已在P4d、P5、G7和G7e实例上可用。 总结：AWS为SageMaker Inference添加NVIDIA Multi-Instance GPU支持，使客户能够在单个GPU上运行多个小型模型，从而降低基础设施成本并提高资源利用率。对于运行嵌入、重排序和分类器等小型到中型模型的客户而言，这项更新意味着可以更高效地利用加速器资源。随着AI模型部署规模的扩大，这类硬件级优化将成为云厂商竞争的关键领域。 参考来源： Unite.AI https://www.unite.ai/aws-adds-nvidia-gpu-partitioning-to-sagemaker-inference-endpoints/ AWS官方博客 https://aws.amazon.com/cn/blogs/machine-learning/sagemaker-inference-now-supports-multi-instance-gpu-to-maximize-gpu-utilization-for-model-endpoints/ AWS News Feed https://aws-news.com/article/2026-10-30-amazon-sagemaker-ai-inference-now-supports-gpu-partitioning-for-real-time-endpoints Ozzzer AI News https://ozzzer.com/ai-news/story/255501/ AWS What's New https://aws.amazon.com/about-aws/whats-new/2026/10/sagemaker-gpu-partitioning/