英伟达发布DeepSeek V4.1的NVFP4量化权重

时间：2026年11月4日。英伟达在 Hugging Face 的 nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 仓库提交了模型卡更新，时间戳为 2026-11-04T22:10:26Z，内容是新增 SGLang 部署说明并把此前的需要额外补丁的措辞改为原生支持，对应已合并的 sgl-project/sglang#47935。权重本身于 10 月 30 日 18:09 UTC 上传，模型卡标注的 Release Date 为 10/30/2026。 地点：模型托管在 Hugging Face 平台 nvidia 组织的公开仓库，基础权重来自 DeepSeek 官方仓库。官方给出的部署与基准测试跑在 4 张英伟达 GB300（Blackwell）GPU 上，操作系统为 Linux。 人物：英伟达 Hugging Face 账号 rixu-nv 负责上传量化权重，Weiliang Liu（账号 weiliang-nv）提交了模型卡更新与 SGLang 部署说明；基础模型由 DeepSeek 团队于 10 月 17 日发布；vLLM 社区的 Zhehao-Hu 提交了支持打包 MXFP4 Engram 嵌入表的改动，SGLang 社区的 weireweire 提交了 dsv41 保持 Engram 打包的优化。 事件详情：英伟达为 DeepSeek 最新的开源模型 DeepSeek-V4.1-Flash-1017 提供了自家 NVFP4 4 位量化权重，仓库是 https://huggingface.co/nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 ，量化由 NVIDIA Model Optimizer 完成，模型卡记录的量化版本是 nvidia-modelopt v0.48.0rc0，源版本号 1bae0e1088993b9b82de08f59de5be5a34e42170。具体做法是把路由专家从源 MXFP4 转成 NVFP4 的权重与激活（W4A4，group size 16），涉及 40 层共 384 个专家的 w1、w2、w3 投影；Engram 查表从源 FP8 转为 MXFP4；注意力、共享专家、视觉、MTP 等部分保持源精度。所有 16,986,931,200 个专家权重块通过了无损转换，反量化后的权重值保持一致，Engram 的转换则是有损的。检查点约 400 GiB，源模型约 475 GiB，由 48 个 safetensors 分片组成。部署上，vLLM 侧需要带 MXFP4 Engram 支持的构建，官方给出的启动命令在 4 张 GB300 上以 tensor-parallel-size 4 跑通，使用的镜像为 vllm/vllm-openai:v0.31.0 并叠加了 Engram 改动；SGLang 侧从 11 月 4 日起原生加载该检查点，官方示例同样在 4 张 GB300 上验证。 背景：DeepSeek-V4.1-Flash-1017 是 DeepSeek 官方在 10 月 17 日发布的快照，官方仓库当天有三次提交，最后一次即发布提交。它是原生多模态的 MoE 模型，采用 Causal Encoder-Decoder 架构与 Compressed Sparse Attention 2，骨干总参数 552B，prefill 阶段激活 8B、decode 阶段激活 16B，另有 196B Engram 条件记忆，上下文最长 100 万 token。NVFP4 是英伟达 Blackwell 平台原生的 4 位浮点格式，可在同一层同时压缩权重与激活，配合 Model Optimizer 的校准流程使用。英伟达此前已为更早的 DeepSeek-V4.1-Flash 快照发布过同名的 NVFP4 转换版本，这次是把 1017 这个新快照补齐，模型权重的发布节奏已经跟着 DeepSeek 的版本更新在走。 影响：官方给出的 vLLM 实测里，NVFP4 版本与源 MXFP4 版本基本持平，GPQA Diamond 92.93 对 92.77，MMMU-Pro 78.73 对 78.38，IFBench 76.47 对 76.33，AA-LCR 80.19 对 80.41，SciCode 57.32 对 57.58，Terminal-Bench 2.1 81.11 对 81.81；SGLang 侧 GSM8K 在开启 DSpark 投机解码时为 96.82%，关闭时为 96.59%。这意味着 4 位权重在这个规模上已经基本可用，而检查点从约 475 GiB 缩到约 400 GiB。对想在自有 Blackwell 服务器上跑开源模型的团队，这套权重省掉了自己做 PTQ 校准和引擎适配的环节，vLLM 与 SGLang 两条主流推理路径都能直接加载。限制也很清楚：权重绑定 Blackwell 架构硬件，约 400 GiB 的检查点仍需要多卡节点承载。 总结：英伟达把 DeepSeek 最新的开源模型搬进了自家 Blackwell 的原生 4 位格式，并在同一天把 SGLang 的原生加载支持写进了模型卡。对开发者来说，这是一条路径清晰的自建推理路线：拿官方权重，用 vLLM 或 SGLang 起服务，不必自己复现量化流程。真正的看点是 169.87 亿个专家权重块的无损转换和几乎持平的基准分数，它说明 4 位量化在 552B 级别的 MoE 上已经越过可用线。需要留意的是，这套权重只面向 Blackwell 平台，显存门槛也没有因为量化而消失。 常见问题： 问：DeepSeek V4.1 Flash 参数量是多少？ 答：模型卡标注骨干总参数 552B，prefill 激活 8B、decode 激活 16B，另有 196B Engram 条件记忆。 问：DeepSeek V4.1 Flash 怎么本地部署？ 答：下载英伟达的 NVFP4 量化权重后用 vLLM 或 SGLang 加载，官方示例在 4 张 GB300 上以张量并行 4 跑通。 参考来源： 英伟达在 Hugging Face 发布的 DeepSeek-V4.1-Flash-1017 NVFP4 量化模型页 https://huggingface.co/nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 英伟达该模型卡原文，含量化流程、部署命令与基准分数 https://huggingface.co/nvidia/DeepSeek-V4.1-Flash-1017-NVFP4/raw/main/README.md 英伟达模型仓库提交记录，含 10 月 30 日上传与 11 月 4 日模型卡更新 https://huggingface.co/api/models/nvidia/DeepSeek-V4.1-Flash-1017-NVFP4/commits/main Hugging Face 模型卡 PR 讨论，新增 SGLang 部署说明 https://huggingface.co/nvidia/DeepSeek-V4.1-Flash-1017-NVFP4/discussions/1 DeepSeek 官方 DeepSeek-V4.1-Flash-1017 模型页 https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017 DeepSeek 官方模型仓库提交记录，10 月 17 日发布快照 https://huggingface.co/api/models/deepseek-ai/DeepSeek-V4.1-Flash-1017/commits/main SGLang 拉取请求 47935，dsv41 保持 MXFP4 Engram 打包 https://github.com/sgl-project/sglang/pull/47935 vLLM 拉取请求 61530，支持打包的 MXFP4 Engram 嵌入表 https://github.com/vllm-project/vllm/pull/61530 NVIDIA Model Optimizer 仓库，量化工具链 https://github.com/NVIDIA/Model-Optimizer 英伟达此前发布的 DeepSeek-V4.1-Flash NVFP4 版本，对应更早快照 https://huggingface.co/api/models/nvidia/DeepSeek-V4.1-Flash-NVFP4