时间：2026年7月9日
地点：美国·圣克拉拉
人物：英伟达（NVIDIA）AI团队
事件详情：2026年7月9日，英伟达AI团队正式发布Nemotron-Labs-3-Puzzle-75B-A9B压缩混合MoE大语言模型。该模型基于Nemotron-3-Super（总参数120.7B，激活参数12.8B）进行压缩，将总参数压缩至75.3B、激活参数压缩至9.3B，同时保留了原模型的88层混合架构（Mamba-2状态空间模块与Self-Attention全局锚点）。在8x B200服务器配置下，模型在NVFP4精度下的总吞吐量相比Super版本提升1.60倍至2.14倍，单张H100 GPU从仅能处理1路1M-Token请求跃升至8路并发。目前已在Hugging Face上提供BF16、FP8和NVFP4三种精度检查点。
背景：大型混合MoE模型如Nemotron-3-Super虽然精度优异，但在实际部署中面临严重的内存和通信瓶颈。其活跃参数、KV缓存和Mamba状态共同限制了单节点可承载的用户数。英伟达的Puzzle压缩技术采用迭代式架构搜索（Iterative Puzzle），相比单步压缩方案在同等压缩比下平均高出0.57个评测点。Puzzle-75B-A9B的设计目标从一开始就锁定为：在每用户100 Token/秒的速率下实现2倍服务器吞吐量，以及单张H100可同时处理8路百万Token请求。
影响：
- 大幅降低Nemotron-3-Super的企业部署成本——模型权重从70GB降至44.5GB，单H100即可处理8路百万Token长上下文推理，使中小企业也能负担起此前仅大型云厂商才能使用的MoE模型。
- 验证了Puzzle压缩技术的有效性——在Arena-Hard-V2和SWE-Bench上仅分别下降4.2和2.6个点，而RULER长上下文评测和AA-LCR几乎未受影响，表明压缩主要牺牲了部分流畅性而非核心推理能力。
- 为AI智能体应用的大规模部署提供了高效模型方案——长上下文推理能力的显著提升（8路并发）使Agent应用可在单卡上同时服务多个用户，大幅降低推理基础设施成本。
总结：英伟达发布的Nemotron-Labs-3-Puzzle-75B-A9B是MoE模型推理效率优化的重大突破。通过Puzzle压缩技术在保持模型核心能力的同时实现2倍吞吐量提升，有效解决了大型MoE模型在长上下文场景下的部署瓶颈。BF16/FP8/NVFP4三种精度版本为不同硬件配置的用户提供了灵活选择，有助于推动开源MoE模型在企业级AI应用中的广泛落地。
参考来源：
- https://www.marktechpost.com/2026/07/09/meet-nemotron-labs-3-puzzle-75b-a9b/
- https://arxiv.org/pdf/2607.04371
- https://cloud.tencent.com/developer/article/2698407
- https://huggingface.co/nvidia
- https://developer.nvidia.com/blog