英伟达优化Kimi K3推理 速度提升1.68倍

时间：2026年10月18日 地点：美国（NVIDIA 总部）、中国（北京，月之暗面） 人物：英伟达 CentML 工程师 Benjamin、SemiAnalysis 团队、月之暗面（Moonshot AI）Kimi K3 团队、vLLM 开源社区 事件详情：调研机构 SemiAnalysis 今日发文称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 模型在相同硬件（GB300 NVL72）上实现 423 tok/s/user（每用户每秒每 Token）的解码速度，性能较此前提升 1.68 倍。该优化由英伟达 CentML 工程师 Benjamin 完成，采用大规模 Megakernel 融合技术，使用 Cute DSL 编写英伟达新推出的解码专用内核；该 Megakernel 共 1.2 万行代码，被视为 AI 辅助生成高级 GPU 内核的未来方向。vLLM 官方博客同步披露，在 batch 1 场景下，16 张 GB300 上 Kimi K3 解码速度已超过 840 tokens/s（DSpark 推测解码、合成 AL=6），多组配置下解码吞吐量提升 1.5–2 倍，AgentX 工作负载 P90 交互性提升最高达 1.8 倍。stock vLLM 单层需 130 微秒/23 个内核，专用解码路径压缩到 69 微秒/13 个内核。英伟达同时还在为 vLLM 开发 DeepSeek V4.1 等其他模型的同类优化。 背景：Kimi K3 是月之暗面 2026 年 7 月发布的旗舰 MoE 模型，总参数 2.78 万亿，支持最高 100 万 token 上下文窗口，部署在 H200、GB200、GB300 等 GPU 上。vLLM 是 UC Berkeley RISELab 等团队主导的开源大模型推理引擎，目前是业界主流推理框架之一。Megakernel 是把大量小内核融合为单个大内核以减少 GPU 启动开销与中间数据传输的技术路径，过去主要依赖专家手工编写，本次实现则是借助 AI 编码 Agent 自动生成复杂 GPU 内核的代表性案例。 影响：1.68 倍的速度提升意味着相同 GB300 硬件投入下，Kimi K3 服务吞吐量近乎翻倍，单 token 推理成本显著下降，为超大参数 MoE 模型的商用化提供经济性支撑；同时也印证 AI 辅助生成高性能 GPU 内核这一新范式——编码 Agent 自动产出高度专业化的解码内核，逐步替代纯人工手写，把推理优化带入"AI 写 AI 内核"的新阶段；AMD ROCm 团队随后也发布 Kimi K3 在 vllm/SGLang/ATOM 三引擎的横向基准，显示出该工作正成为 GPU 推理优化的"基准靶"。 总结：英伟达工程师通过 Megakernel 融合与 Cute DSL 专用解码内核，让 2.8 万亿参数 MoE 模型 Kimi K3 在 GB300 上跑出 1.68 倍推理加速，叠加 vLLM 官方披露的 batch 1 解码超 840 tokens/s，是 AI 辅助生成高级 GPU 内核的标志性里程碑。 参考来源： - IT之家：https://www.ithome.com/1/014/595.htm - vLLM 官方博客：https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel - Digg 报道：https://digg.com/tech/fkemndga - SemiAnalysis X 推文：https://x.com/SemiAnalysis_/status/2111627094878790023 - NVIDIA Dynamo 文档：https://docs.nvidia.com/dynamo/dev/recipes/kimi-k3 - CoreWeave 博客：https://www.coreweave.com/blog/get-started-with-kimi-k3-dedicated-inference - AMD ROCm 博客基准：https://rocm.blogs.amd.com/artificial-intelligence/kimi-k3-mad/README.html - InferAct TPU Megakernel：https://inferact.ai/blog/tpu-megakernels - vLLM Kimi K3 历史优化：https://github.com/vllm-project/vllm-project.github.io/blob/main/_posts/2026-07-27-k3.md