英伟达详解AI内存全栈设计 HBM增3%吞吐提升30倍

时间：2026 年 11 月 5 日，英伟达在其官方技术博客发布专题文章，详解 AI 内存全栈协同设计策略。文章题为《More Performance From Every Byte: How Full-Stack Codesign Solves AI's Memory Challenge》，由英伟达工程师 Amr Elmeleegy 撰写，系统阐述了从 Blackwell Ultra 到 Vera Rubin 平台的内存优化思路。 地点：文章为线上发布，发布主体为美国加利福尼亚州圣克拉拉的英伟达总部。 人物：英伟达技术博客作者 Amr Elmeleegy 主导撰写。文中引用 SemiAnalysis 的 AgentX 基准测试数据，并提及 NVIDIA Vera CPU、Dynamo 推理软件、CMX 上下文存储等相关产品团队的技术方案。 事件详情：英伟达提出“全栈协同设计”理念，将 GPU、CPU、网络、存储和软件作为一个整体协同设计，以提升 AI 工厂中每一字节内存的使用效率。根据 SemiAnalysis AgentX 基准测试，在每用户每秒 125 token 的条件下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍，而每颗 GPU 的 HBM 容量仅增加约 3%。此前 GB300 NVL72 相较 H200 平台在每用户每秒 100 token 条件下，每美元吞吐量最高已提升 10 倍。为实现这一效率，英伟达采用了 NVFP4 低精度格式压缩模型权重和 KV 缓存，在 NVL72 系统中将模型权重分散至最多 72 颗 GPU，并利用 Vera CPU 的大容量 LPDDR 内存为暂停的上下文提供就近缓冲。Dynamo 推理软件将不活跃的上下文迁移至 CMX 上下文存储，RAG 索引则保留在 CPU 与存储侧，避免长期占用昂贵的 HBM。 背景：随着大模型参数规模扩大、上下文窗口延长以及智能体应用普及，GPU 显存正面临前所未有的压力。英伟达将 HBM 比作仓库、内存带宽比作装卸口，指出容量再大若数据进出速度跟不上，也会形成“内存墙”。HBM 供应趋紧、价格上升，在可预见的未来仍将持续。单纯增加 GPU 内存容量已不足以解决问题，必须从整个内存和存储层级进行优化。 影响：英伟达全栈协同设计策略标志着 AI 算力竞争的关键正从“显存多少”转向“每字节、每瓦特能产出多少有效 token”。Vera Rubin 平台通过 NVFP4 压缩、多 GPU 分布式部署、Vera CPU 内存扩展、Dynamo 上下文管理以及 CMX 存储分层，实现了在 HBM 容量微增的情况下吞吐量的大幅跃升。这一方向对 AI 工厂运营商意味着更低的 token 成本和更高的能效，也为后续芯片架构和软件栈的协同演进提供了参考。 总结：英伟达此次发布的技术解读并未推出新硬件，而是系统阐述了从 Blackwell Ultra 到 Vera Rubin 平台的全栈内存优化思路。核心结论是：AI 基础设施的瓶颈不在单一硬件参数，而在 GPU、CPU、网络、存储和软件的整体协同效率。HBM 容量增长放缓的背景下，通过全栈协同设计把每一字节内存的价值压榨到极致，已成为英伟达应对算力竞争的关键路径。 参考来源： NVIDIA 官方技术博客 https://blogs.nvidia.com/blog/memory-full-stack-codesign/ IT之家 https://www.ithome.com/1/023/025.htm 搜狐号 https://www.sohu.com/a/1097837595_114760 通信世界网 http://www.cww.net.cn/article?id=616055 智东西 https://www.zhiding.cn/ai-infrastructure/2026/1106/3204987.shtml 驱动网 https://app.qudong.com/article/528718.html 鉅亨号 https://hao.cnyes.com/post/276196 华尔街见闻 https://wallstreetcn.com/livenews/3195245