Run:ai GPU 分片技术登陆 AWS EKS
时间:2026年11月19日
地点:线上发布(AWS 机器学习博客)
人物:Muru Bhaskaran、Eliuth Triana、Felipe Garcia、Robert Ferrer(AWS 工程师)
事件详情:AWS 于11月19日发布技术教程,介绍如何将 NVIDIA Run:ai GPU Fractioning 部署到 Amazon EKS,实现 GPU 内存的细粒度分片共享。该方案基于 NVIDIA 于2026年10月13日开源的 Run:ai 平台,使用 GPU Fractioning Operator v0.1.7、KAI Scheduler 和 NVIDIA R615 驱动分支,在 Amazon Linux 2023 及 EKS 1.36 环境下完成验证。实验环境采用 g5.xlarge 实例搭配 A10G GPU,单张显卡可同时运行多个 Pod,每个 Pod 被分配 8 GiB GPU 内存合约,实测分配 6 GiB,从而让 notebooks、模型评估和小规模推理服务等交互式负载无需等待整卡空闲即可共享算力。
背景:GPU 共享并非全新概念,NVIDIA 原有的 MIG、time-slicing 和 MPS 等机制已能解决部分隔离与利用率问题。Run:ai GPU Fractioning 在此基础上增加了 Kubernetes 原生调度集成、强制性的 per-Pod 内存限制和细粒度指标监控,使得多团队在单张 GPU 上运行时既能保证内存隔离,又能提升硬件利用率。NVIDIA 在开源 Run:ai 时将其定位为 AI 工厂操作系统的一部分,而 AWS 本次教程则将其落地到托管 Kubernetes 服务 EKS,填补了云上细粒度 GPU 调度的实践空白。
影响:该方案为在 EKS 上运行中小型 AI 工作负载的团队提供了新的选择,尤其适合 GPU 内存有剩余但整卡被占的场景。通过 enforced per-Pod memory contracts,开发者可以更精准地估算和申请所需显存,减少因粗粒度的整卡调度造成的资源浪费。对 AWS 而言,这进一步增强了 EKS 在 AI/ML workloads 上的竞争力;对 NVIDIA 而言,则是其开源生态在云原生场景的一次重要落地。
总结:NVIDIA Run:ai GPU Fractioning 登陆 AWS EKS,标志着 GPU 细粒度调度从概念走向云上可复现的生产实践。通过 memory-enforced sharing 和 Kubernetes 原生集成,该方案让多团队共享单张 GPU 成为可能,有望成为 EKS 上 AI 工作负载调度的重要补充。
参考来源:
AWS 机器学习博客 Using NVIDIA Run:ai GPU Fractioning on Amazon EKS:https://aws.amazon.com/blogs/machine-learning/using-nvidia-runai-gpu-fractioning-on-amazon-eks/
NVIDIA 博客 NVIDIA Run:ai 开源公告:https://developer.nvidia.com/blog/nvidia-runai-is-now-open-source-as-part-of-nvidia-dsx-ai-factory-platform/
NVIDIA 博客 Memory-Enforced GPU Sharing in Kubernetes:https://developer.nvidia.com/blog/memory-enforced-gpu-sharing-in-kubernetes-with-nvidia-cuda-13-4/
NVIDIA Run:ai GitHub 仓库:https://github.com/dsx-ai-factory/run-ai
NVIDIA GPU Fractioning Operator GitHub 仓库:https://github.com/kai-scheduler/gpu-fractioning/







