同一模型被推到六百七十token每秒

推理优化为什么值得做，一条实测给出了最直白的答案：RunInfra 把 GLM 5.3 Flash 推到 670 tok/s，单价 $0.11/M 输入、$0.45/M 输出（原厂 API 在 Z.ai ），速度是原厂基准的很多倍而价格不变——多出来的吞吐，对企业就是真金白银的利润。 原理不神秘，普通部署里 GPU 大量时间并不在"算"，而是在搬显存、启动 kernel、等通信、重复读写数据。工业界的主流优化就围绕这几件事展开：一是 Kernel Fusion，把归一化、量化、MoE 路由、矩阵乘尽量合并执行，减少对显存的来回读取；二是为特定结构写专用 kernel，GLM 自带稀疏注意力与 MoE，通用推理框架不一定能把硬件吃满；三是投机解码与多 token 预测，一次前向尝试生成多个 token；四是前缀缓存，agent 每轮大量重复的提示词不再重算，实测二十四小时缓存命中率最高到过 99.7%。 四件事有一个共同前提：优化对象是执行引擎，不是权重。同一个模型换一套执行引擎，吞吐可以从几十上百 tok/s 被推到几百——权重人人都能拿到，真正拉开成本和速度差距的是下面那层引擎。这解释了为什么模型发布时的官方吞吐和企业实际部署之间总有落差，也解释了推理优化公司为什么活得下来。 落地检查可以照这个清单走：先用监控确认 GPU 利用率低时到底卡在哪一环（搬数据、等通信还是反复读写），再对症选优化——重复前缀多就先上缓存，模型带 MoE 或稀疏结构就找专用实现，长文本生成则评估投机解码。四项都做了，单卡吞吐通常还有成倍空间，而这部分提升不需要等下一代模型。