同权重翻倍速：Spark 上的推理对比

同一份权重，换个推理引擎，双 DGX Spark 上的速度差了近一倍。 这份实测拿 GLM-5.3-Flash 来比，TensorFold 对 vLLM，三栏数字摆开：聊天每秒 44.6 对 22.8，写代码 77.6 对 41.9，提示词处理 1607 对 1448。作者顺手交代了过程，昨天提示词处理还落后，只到对手的八成，一夜之间修回来了；顺手还翻出几处还有提速余地的位子，正在重做那部分。 同权重对比这半句我看重。权重一样、硬件一样，比的就是引擎，前面 2bpw 那篇讲的是压完精度换硬件，这里换的是执行那一层，两条路都在往"同样的模型跑得更值"使劲。代码那栏 77.6 对 41.9 的差距，落到日常就是批量改文件时快一倍的体感。 一夜修好一个 0.8 倍的短板也说明这类项目的节奏。开源引擎的优化是持续活，今天落后不代表下周还落后，跟着版本跑比一次性下结论靠谱。 我的保留有两处。单台双卡机器的数字，换到别的显卡组合未必同比；提示词处理那栏 1607 对 1448 的差距不大，长上下文场景下才是关键，得自己量。 手上正好有 Spark 的，把仓库拉下来跑一轮自己的常用模型，聊天和代码那两栏自己心里才有底。