launch 省的那点，你的负载在乎吗

Pegainfer 把"名优化"放上实验台：CUDA Graph 真正省的是什么——测了 pdl 与 cuBLAS 的 kernel launch 时间，并问它对 agent 时代的 prefill 负载真有那么重要吗？文末附 kern/vLLM/SGLang 三引擎 qwen3.8 对比。 CUDA Graph 省的是 launch 开销——kernel 起飞前的固定成本，decode 逐 token 反复起飞它常在；agent 时代的典型负载是长 prefill：整库上下文一次铺开，算力吃满、launch 占比摊薄。优化是真的，配不配你的活是另一回事。 口径：单家实验，硬件、精度、批量、版本一动结论就移位；三引擎只在同一设定内可比。判断交给自己的 profiler：瓶颈在哪层优化哪层，名优化堆出的体感不算数。 给要动手的三条：一，先分清主力是 prefill 还是 decode——agent 系统多半 prefill 重，先看算力与 KV 显存；二，想上 CUDA Graph 先测 launch 占比，占比小别付这个复杂度；三，三引擎结论只在同硬件同模型下照抄，换条件重测。 launch 省的那点，你的负载在乎吗？ pegainfer.org/blog/cuda-grap…