决策模型跑进实时区：27B 提速六倍

yiqilyu.me/open-jev-fast github.com/lyuyiqi/open-j… 同一张卡上跑 231 个任务，一边还在爬，另一边已经收工了。 Open-Jev-Fast 是 Open-Jev-27B 的加速后端。同一张 NVIDIA B300，同样 231 个公开任务按真实延迟一倍速重放：原版 jev.server 加 FLA 跑到 65 个任务时才过五分之一，全部跑完要 59.5 秒；加速版 9.7 秒收工，整整快 6.1 倍。平均延迟从 258 毫秒压到 42 毫秒，准确率几乎原地不动，197 对 198。 快法也说得明白。换上专用 CUDA 内核，示例推理从 103.7 毫秒降到 17.3 毫秒；自研的 Gated DeltaNet 加树状注意力让共享前缀只算一遍，再叠上 CUDA Graphs，全程 bf16 原精度不量化。单卡能顶 50Hz 以上。 这一步的意义得接前面几篇来看。决策模型一直卡在"准但慢"上，JevBench 把这个短板量了出来：路由、拦危险操作这些活都要求毫秒级，258 毫秒的响应放进真实链路里就是排队。42 毫秒把它拽进了实时区间，LLMInference 圈一直念叨的本地部署也终于像实时系统，而不只是能出分的模型。 我留意到接口一个字没改，请求还是原来那个端点。迁移只换后端不改代码，这种升级才是团队愿意接的样子。 保留的疑问在耐久性。九秒多跑完一轮是短测，长时间高并发下的显存和抖动，实测数据里还没交代。 想自己打这个数的，官方给了四步上手：装 Open-Jev 与 FLA、配三个环境变量、启动服务、跑 bench/e2e_bench.py，17.3 毫秒就在那头等着。