开源推理框架 SGLang 把 Qwen3.8-27B 改造成多模态决策模型,实战场面相当抓眼:从游戏实时状态出发,以低于 100 毫秒的决策速度打通《宝可梦 红宝石》的四大天王与冠军。同步上线的还有两个接口——一个把任意语言或视觉模型直接转成分类打分模型,另一个让类 Jev 的开源模型接进现成的决策模型工具链。
这条更新补上了决策赛道此前缺的一块:开源运行时。此前玩家要么用创业公司的专用模型,要么调大厂的付费接口,现在任何团队都能拿自己托管的模型接上标准接口,把现成权重转成打分服务。硬件在自己手里、成本按自己的算力摊,决策类任务第一次完全不必绑定某一家的云。
百毫秒级加实时游戏状态,也顺带验证了这类模型的真正适用面:决策模型的舞台不是长篇推理,而是高频、短小、必须立刻落子的场景。游戏只是最直观的压力测试,把这套节奏搬到生产上,对应的就是风控拦截、消息路由、工单分派这些每秒都要做判断的位置。
给团队的落地路径已经成型:若任务符合"选项有限、要求低延迟、输入是结构化状态"三个条件,先用开源接口在自家模型上试一版,跑通再决定要不要迁到托管服务。判断标准只有一条——决策频率高到让逐次计费不划算时,就该自己接了。
话题来源 @sgl_project
198.4K阅读 ❤️2796 x.com/…↗ 已改写,非原文转载
26 浏览 0 评论
0 反应











