英伟达VeraRubin 智能体每美元吞吐最高提升30倍

时间：2026年11月5日（美国时间），中文媒体于11月6日跟进报道 地点：美国加利福尼亚州圣克拉拉，英伟达总部及英伟达开发者博客 人物：英伟达工程团队；博客作者 Amr Elmeleegy；被引用的基准测试方 SemiAnalysis 事件详情：英伟达11月5日发布技术解读文章《More Performance From Every Byte: How Full-Stack Codesign Solves AI's Memory Challenge》，系统说明如何用全栈协同设计应对大模型、长上下文和智能体带来的GPU显存压力。文章称，随着模型参数规模扩大、上下文窗口延长以及智能体应用普及，GPU高带宽内存（HBM）供应趋紧、价格上涨，这一趋势在可预见的未来仍将持续。英伟达的核心主张是，不是简单地往GPU上堆更多显存，而是把GPU、CPU、网络、存储和软件作为一个整体协同设计，让每一字节内存在AI工厂的各层级都产生更高价值。文中援引SemiAnalysis AgentX基准的DeepSeek V4 Pro工作负载称，在每位用户每秒125个token的服务速度下，Vera Rubin NVL72相较GB300 NVL72，每美元可实现的智能体吞吐量最高提升30倍，而单颗GPU的HBM容量仅增加约3%；在每位用户每秒100个token时，GB300 NVL72相较H200平台每美元吞吐量最高提升10倍，单颗GPU的HBM容量大约翻倍。 背景：HBM是AI工厂里速度最快、成本最高、供应也最受限制的一层，模型权重和KV Cache都要占用它。英伟达把HBM比作仓库、把内存带宽比作装卸码头：仓库再大，码头装卸跟不上，新增容量也无法转化成服务能力。智能体会把历史上下文在多轮模型调用和工具调用之间持续携带，部分任务轨迹的处理上下文已达300万token，检索增强生成还会把企业资料塞进提示词，内存压力因此进一步抬升。英伟达给出的具体手段有四类：用NVFP4低精度格式压缩模型权重和KV Cache；在NVL72系统中把模型权重分散到最多72颗GPU以腾出HBM；用Vera CPU的大容量LPDDR内存配合NVLink-C2C为暂停的上下文提供就近缓冲；再用Dynamo推理软件把不活跃上下文卸载到CMX上下文内存存储并在复用前取回。检索增强生成一侧，则由Nemotron Retriever模型和cuVS库把向量索引留在CPU与存储层级。已有Black Forest Labs的FLUX.2 klein、Thinking Machines Lab的Inkling、Reflection的Beam 1.0、Meta的Muse Spark、StepFun的Step 5 Preview等模型发布了NVFP4权重。 影响：这一解读把AI算力的衡量口径从显存有多少，推向每字节、每瓦特能产出多少有效token。对做推理服务和自建AI工厂的团队，下一轮平台选型与推理成本模型可能因此重排，30倍的成本效率差距如果被第三方复现，采购口径会明显偏向系统级调度能力，而不是单纯堆HBM容量。它同时说明显存紧张本身并没有缓解：英伟达给出的答案不是采购更多HBM，而是把压力分散到CPU内存、上下文存储和向量索引这几层。 总结：英伟达这次没有发布新芯片，而是发布了一套怎么用好现有显存的方法论。文中两个数字最具传播力：单颗GPU的HBM容量只增加约3%，而每美元智能体吞吐量最高提升30倍。这两个数字来自SemiAnalysis AgentX基准的特定负载，并非通用实测，读者选型时需要结合自身上下文长度和并发量判断。对国内团队来说值得关注的是，在HBM供给受限时，量化加分层存储几乎是绕不开的工程选项。 常见问题： 问：英伟达这次方案要加多少显存？ 答：单颗GPU的HBM容量只增加约3%，提升主要来自量化、分层存储和调度。 问：30倍吞吐提升是在什么条件下测出来的？ 答：在SemiAnalysis AgentX基准的DeepSeek V4 Pro负载下，每位用户每秒125个token时，Vera Rubin NVL72比GB300 NVL72每美元吞吐量最高提升30倍。 参考来源： 英伟达官方博客：More Performance From Every Byte，全栈协同设计与30倍吞吐数据 https://blogs.nvidia.com/blog/memory-full-stack-codesign/ 英伟达开发者博客技术详解：Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory https://developer.nvidia.com/blog/five-ways-nvidia-co-design-maximizes-the-value-of-every-byte-in-the-ai-factory/ 电子技术应用AET：英伟达详解AI内存全栈协同设计 https://www.chinaaet.com/article/3000181626 驱动中国：英伟达提出全栈协同设计，每美元智能体吞吐量最高提升30倍 https://app.qudong.com/article/528718.html 财联社（新浪财经）：英伟达提出AI内存全栈协同设计方案 https://t.cj.sina.com.cn/articles/view/2868676035/aafc85c302001ze7e