蚂蚁与vLLM开源量化推理内核Humming

时间：2026年10月21日，vLLM 官方博客发布公告，宣布蚂蚁集团与 vLLM 社区联合开源量化推理内核库 Humming。同日新浪财经、PANews 等媒体跟进报道；GitHub 仓库在当日 05:54 UTC 有最后一次推送。 地点：中国杭州（蚂蚁集团基础架构团队）与开源社区 vLLM 联合发布，项目仓库托管于 GitHub 的 vllm-project 组织。 人物：蚂蚁集团基础架构团队与 vLLM 社区联合团队。官方在 README 的致谢部分说明，该项目受到 DeepGEMM、Marlin Kernel 与 vLLM Marlin 内核、lmdeploy GEMM 内核以及 NVIDIA CUTLASS 的启发。 事件详情：Humming 是一个专为量化推理设计的高性能、轻量级、高度灵活的 JIT（即时编译）GEMM 内核库，遵循 Apache-2.0 开源协议，可通过 pip install humming-kernels 安装。官方将其特性概括为三点。一是广泛的设备支持，覆盖从 Turing 架构（SM75）起的全部 NVIDIA GPU 世代，并支持 CUDA 编程兼容的设备，如 T-Head（平头哥）的玄武 810E。二是丰富的量化支持，统一架构可支撑 Dense 与 MoE 两种负载下多种权重与激活格式的组合，覆盖各类整数与浮点类型、位宽和缩放方案。三是强执行性能，在多个代表性负载上显著优于 vLLM Marlin、FlashInfer 和 DeepGEMM 的现有实现。 在架构设计上，Humming 的执行路径分为三段：先表示量化计算，再针对硬件与负载选择配置，最后从共享的 CUDA 组件编译出内核。第一段是统一的量化表示，Humming 把各种量化工具导出的模型统一转换到自己的标准格式，把权重格式、缩放粒度、scale 数据类型、零点、二次缩放都拆成独立参数，激活值也有自己的数值格式与量化设置，这些参数可以在格式与硬件约束下自由组合，从而为不同来源的模型提供统一的推理接口。第二段是三层配置：Layer Config 描述张量形状、数据类型、量化参数与目标架构；Compute Config 指定 GEMM 类型与计算选项（如 batch invariance、输入 scale 布局）；Tuning Config 选择 tile 形状、流水线级数、warp 特化、访存方式与 MMA 指令，并控制并发与调度，TMA 可按张量单独配置。第三段是跨格式跨架构共享的 CUDA 组件，把任务调度、数据搬运、反量化与缩放、Tensor Core 计算、输出处理拆成可复用组件，分为数值处理、访存与计算后端、任务映射与调度三组，JIT 编译时按三层配置组合这些组件并裁掉无用的分支。 官方给出的支持矩阵覆盖 FP16（e5m10）、BF16（e8m7）、FP8（e4m3/e5m2）、FP4（e2m1）、INT8、INT4 等激活类型，其中 INT8 与 FP16 激活最低可到 SM75，INT4 与 BF16 需 SM80 起，FP8 需 SM89 起，FP4 激活需 SM120 起；权重侧支持对称 INT1-INT8、带动态零点的 INT1-INT8，以及任意位宽的有符号浮点权重。 在编译速度上，官方的测试环境为 H200 服务器加 CUDA 13.4，关闭编译缓存，编译单个 W4A16 内核的时间从 CUTLASS 配 NVCC 的 23.35 秒，降到 Humming 配 NVCC 的 1.82 秒、配 NVRTC 的 1.88 秒。Humming 还会在模型预热阶段并行编译内核，测试中编译并加载覆盖单层 GEMM 全部支持 M 尺寸的内核约需 2 到 4 秒。项目依赖极少，只需 PyTorch 与 NVCC，安装包体积仅 100 多 KB。 性能方面，官方公布的 GEMM 微基准由 vLLM 社区运行，M 覆盖 1 到 8192 的所有 2 的幂，内核完全预热后独立计时并使用冷 L2 缓存。在 Dense W4A16 上，Humming 在多数测试配置中持平或优于 vLLM Marlin；以 cuBLAS 为共同基线，小 batch 场景下在多个设备上有约 3 到 4 倍加速，大 batch 的 H200 上约为 Marlin 的两倍，B300 的部分场景超过三倍。MoE 方面，Humming 提供 Indexed 与 Grouped 两条路径，H20 与 H200 上 MXFP4 W4A16 在多个中大 batch 场景约为 Marlin 的两倍，B300 上 MXINT4 与 NVFP4 的 Grouped 路径在大 batch 下达到约 5 倍。W8A8 上，H20 与 H200 在小中 batch 分别约为 DeepGEMM Contiguous 的 2.6 倍和 2.5 倍；W4A8 以 DeepGEMM W8A8 为基线，H20 约 4.2 倍、H200 约 4.5 倍。在 B300（SM103）上以同精度 DeepGEMM Contiguous 为基线，W8A8、W4A8、W4A4 分别约为 1.25 倍、1.6 倍、1.4 倍；在 SM121 的小 batch 场景，相对 FlashInfer CUTLASS，W4A8 提升约 19%、W4A4 提升约 9%。 一项值得单独说明的技术点是 W4A8-MXFP4 路径：Blackwell 之前的架构缺少原生 MXFP4 Tensor Core 支持，传统 W4A8-MXFP4 内核在大 M 时会受反量化与缩放开销拖累，Humming 提供了 MXFP4 到 INT8/FP8 的快速反量化路径，在内核内直接把 MXFP4 权重转成受支持的计算格式，小 M 时显著优于传统 W4A8 实现，大 M 时接近 W8A8 性能，使 H200 这类设备也能运行高性能 W4A8-MXFP4 内核。此外社区还发现 Blackwell Tensor Core 原生支持 float4e0m3 和 float8e3m4 这两种未暴露在 PTX 类型系统中的特殊浮点格式，Humming 已在全部 Blackwell 架构（数据中心 SM100/SM103，工作站与个人计算 SM120/SM121）上支持，但 Rubin 不支持这两种隐藏格式。 在端到端层面，官方的测试是在 8 张 H20 上以 TP=8 运行 DeepSeek-V4.1-Flash，保持模型 MXFP4 权重不变，仅把 MoE 执行从 Marlin W4A16（BF16 激活）换成 Humming W4A8（tokenwise FP8 激活），官方称端到端吞吐提升约 14% 到 43%、首 token 时间降低约 25% 到 32%。逐档数据为：并发 1 时输入吞吐从 2827.15 提升到 3226.23 tokens/s（+14.1%），TTFT 从 543.13 降到 383.80 毫秒（-29.3%）；并发 32 时吞吐提升 40.5%，TTFT 降低 30.5%，TPOT 降低 28.5%；并发 64 时输出吞吐从 442.37 提升到 633.94 tokens/s（+43.3%），TTFT 从 4673.35 降到 3882.94 毫秒，TPOT 下降约 31%。 背景：随着模型与推理负载增长，显存容量、内存带宽和算力成本日益成为部署瓶颈，这在 MoE 模型上尤其明显：每个 token 只激活一部分专家，但全部权重仍需存储，以 DeepSeek-V3 为例，其总参数 6710 亿、每 token 激活 370 亿。量化通过降低权重与激活的精度来减少显存占用与数据搬运，但不同模型与 GPU 世代的量化需求差异很大，常见配置有 WNA16、W8A8、W4A8、W4A4，即便同为 4bit，INT4 与 NVFP4 在数值格式与缩放上也不相同，再加上缩放粒度、scale 表示、group size、对称与非对称等维度，配置空间迅速膨胀。为每一种组合单独开发并集成专用内核，会带来权重预处理、内核选择、框架适配与测试等成套维护负担，任何优化都要在多套实现之间重复搬运。Humming 要解决的就是这个问题，思路是把量化描述与执行选择解耦，再由共享组件组合出内核。项目并非从零起步，蚂蚁基础架构团队此前已在 vLLM 北京 Meetup 上分享过把 DeepSeek 推理性能提升 10 倍的优化策略，Humming 是这条积累的开源延续。 影响：Humming 的价值有两层。其一是工程层面，量化推理内核的开发模式从每组合一个专用实现，转向统一表示加可组合组件的通用架构，新增格式或架构只需扩展相应组件，共享组件的优化也能惠及所有兼容配置，这直接压低了维护成本，也让它成为 vLLM 上游可合入的通用组件。其二是硬件层面，它把 Blackwell Tensor Core 中未被 PTX 暴露的 float4e0m3 与 float8e3m4 两种格式纳入统一框架，为低精度推理提供了额外的原生计算路径（Rubin 不在此列）。极低的依赖门槛也让它容易被其他推理框架复用：只需 PyTorch 与 NVCC，包体 100 多 KB，JIT 编译 1.8 秒左右。从蚂蚁的角度看，这是继 DeepSeek 开源 DeepGEMM 之后，又一次把大厂的推理内核能力通过社区开源沉淀下来。 总结：需要提醒的是，上述全部性能数字均来自 vLLM 社区与项目方的自测，目前尚无第三方复现；端到端结论只在 DeepSeek-V4.1-Flash 配 8 张 H20、TP=8 这一种配置下测得，跨模型、跨硬件的实际收益仍需使用者自行验证。就技术路线而言，Humming 展示的是一条务实的路径：不做单一极限优化，而是用统一的抽象层把各种量化格式与硬件能力编织进同一套 JIT 内核生成框架，让 100 多 KB 的代码覆盖从 Turing 到 Blackwell 的全部 NVIDIA 世代。 参考来源： 1. vLLM 官方博客公告：https://vllm.ai/blog/2026-10-21-humming 2. GitHub 项目仓库（Apache-2.0）：https://github.com/vllm-project/humming 3. 项目 README（含完整支持矩阵与安装说明）：https://raw.githubusercontent.com/vllm-project/humming/main/README.md 4. 新浪财经 7x24 快讯：https://finance.sina.com.cn/7x24/2026-10-21/doc-inivyxhk8133755.shtml 5. 搜狐科技报道：https://m.sohu.com/a/1090825256_122004016 6. 新浪快讯：https://k.sina.com.cn/article_5953740931_162dee083067042q04.html 7. PANews 快讯：https://fr.tradingview.com/news/panews:f433860d7acdf:0/