232个赞，1.6万次浏览，这条推文在AI圈炸了。 有人用3台DGX Spark…

232个赞，1.6万次浏览，这条推文在AI圈炸了。 有人用3台DGX Spark跑GLM 5.3 Flash EXL3，实现了4路并发，每路输出速度达到95 tok/s。关键是这还不是结构化解码，主要是散文内容，中间夹杂少量代码。 我有个做AI推理的朋友，他之前一直用传统方案来处理模型推理，但效率太低，经常被显存不足问题困扰。看到这个案例后，他说终于找到了一个既保留推理核心功能，又增加了一些优化元素的方案。 这个案例的核心亮点是"高并发低延迟"——不需要昂贵的云端推理服务，不需要复杂的分布式配置，直接在本地设备上跑。对于推理工程师来说，这意味着可以大幅降低延迟，而不是被网络延迟所限制。 从技术角度看，这个案例的架构设计挺有意思的。它把推理的各个环节都模块化了，每个模块都可以独立优化。这种设计让开发者可以根据自己的需求来定制推理流程，而不是被工具的固定流程所限制。 这个案例挺有意思的，它说明了AI在本地推理领域的进步。很多人可能觉得本地推理需要复杂的配置和专业的知识，但实际上用简单的工具也能实现不错的效果。 如果你也在做AI推理相关的工作，可以试试这个方案。特别是那些对延迟有要求的场景，用这个工具可能是个不错的选择。