是石科技发调度新品 首Token延迟降32.4%
时间:2026年10月20日
地点:中国(2026 CCF 全国高性能计算学术大会期间,同期在 WEC2026 世界算力博览会亮相)
人物:是石科技(METASTONE,创始人兼董事长闫博文、研发总监范洋);中国计算机学会 CCF;WEC2026 世界算力博览会
事件详情:清华系团队是石科技发布新品 TokenFleet 分布式调度框架,把优化重点放在请求路由、跨机房容量协同与混合负载治理上,目标是提高现有算力的有效产出。若把推理服务比作一座“国产 Token 优化工厂”,GPU 是生产设备、推理实例是工位、业务请求是一张张订单,TokenFleet 负责的就是订单与产能的匹配。框架由三项核心技术组成:TokenPilot 负责在同一模型池内选择推理实例,选点时同时估算缓存复用收益与排队代价——即结合输入规模、输出预算、可复用前缀、队列长度、在途 token、KV 缓存压力与预测延迟,为候选实例打分,判断复用缓存省下的计算能否抵消额外等待;FleetMind 面向跨机房容量协同,汇聚各机房的模型可用性、实时容量与网络状态,先选择执行机房、再由该机房的本地决策引擎选择具体实例,跨地域分流需先满足权限与数据地域约束;SLOMax 负责混合负载的准入、队列治理与容量分配,应对短对话需及时响应、长文档耗显存、离线批量有截止期等不同服务等级要求相互挤压的问题。三者最终都指向同一个指标:成功完成且满足服务要求的有效 token 产出。官方给出的调优数据来自是石科技提供的 GLM5.3,在其所测显卡集群与负载条件下,采用预测延迟路由后 P95 首 token 延迟降低 32.4%,P50 首 token 延迟降低 71.3%,改善率按(基线值减优化值)除以基线值计算,官方同时提示延迟下降不直接等于成本下降。同一场合,是石科技还发布了 Meta-Infer 高效推理引擎,通过算子级补齐、通信重构与并行调优,在不改模型结构与任务语义的前提下,把官方清单之外的异构加速卡从“能跑起来”推到“跑满”,使“长尾卡”达到生产级性能。官方将两者的关系概括为:Meta-Infer 把单卡的性能边界向外推开,TokenFleet 把集群里闲置的容量收拢起来。
背景:是石科技成立于 2021 年,由国家级计算中心核心科研团队联合组建,背靠清华大学高性能计算研究所,定位是“不造芯、不绑定大模型厂商、不与云厂商竞争”的独立第三方全栈算力运营商,核心为 HPC+AI 超智融合平台。公司已适配昇腾、昆仑芯、摩尔线程、天数智芯等十余款主流国产加速卡与二十余个主流大模型,运营十余家算力中心,公开资料显示全国可用区域 10 余个、算力规模约 10000 PFLOPS、存储规模 33.5PB、合作伙伴 200 余家。其调度系统 S-Computing(磐石)纳管规模超过 1000DP,公司是国家超算互联网联合体成员。2026 年 7 月 17 日世界人工智能大会上,是石科技发布“国产 Token 优化工厂——拓元 Vectron”,把 AI 算力的竞争焦点从堆卡转向算力运营;公司此前公开的实测数据称,在同等算力条件下其推理优化方案可提升吞吐 30% 至 50%、单位 token 成本降低 40%,并提供 99.9% 的高可用性保障。
影响:对政企与行业客户而言,TokenFleet 试图解决的正是国产算力规模化落地中最难的一段路——多模型共享算力时的实例选点、跨机房容量协同以及长请求与批量任务互相挤压导致的资源浪费,这三件事此前更多依赖人工经验与各家自研工具。官方称框架可把上千张以上 GPU 与每秒海量请求组织成有序可调度的整体,在既定算力预算下稳定交付更多满足服务要求的有效 token。延迟数据方面,P95 首 token 延迟下降 32.4% 意味着长尾请求的等待时间明显缩短,对实时对话、客服类应用的体验与并发承载能力更友好;而 P50 下降 71.3% 则说明中位请求的响应改善幅度更大,这与 TokenPilot 把缓存命中与排队代价同时纳入选点打算是吻合的。与 Meta-Infer 引擎配合,形成“单卡性能加集群编排”的完整推理交付链路,Meta-Infer 解决长尾国产卡跑不满的问题,TokenFleet 解决集群里有效产出不足的问题。需要说明的是,上述延迟数据来自是石科技大会演讲材料,在特定显卡集群与负载条件下测得,跨硬件、跨模型的普适性仍需第三方验证,成本收益也需结合吞吐与资源占用综合评估。
总结:TokenFleet 的核心思路是把推理集群当作一座“Token 工厂”来经营,不再只拼卡数和峰值算力,而是用 TokenPilot、FleetMind、SLOMax 分别解决实例选点、跨机房协同与混合负载治理,把目标锚定在“满足服务要求的有效 token 产出”上。官方称在 GLM5.3 调优中,P95 首 token 延迟下降 32.4%、P50 下降 71.3%,配合 Meta-Infer 引擎一起发布,标志着国产算力竞争正从“能不能跑”转向“调度效率与单位 token 成本”的比拼;不过数据来自厂商自身材料与特定环境,实际收益仍待更多独立测评验证。
参考来源:
1. 量子位原文报道:https://www.qbitai.com/2026/10/504421.html
2. 新浪财经转载全文:https://finance.sina.com.cn/wm/2026-10-20/doc-inivvsvr7625776.shtml
3. 腾讯新闻转载全文:https://news.qq.com/rain/a/20261020A09PF100
4. ZAKER 转载全文:https://app.myzaker.com/news/article.php?pk=6ad6d27f8e9f092a5b6dcab0
5. 赛迪网 WEC2026 现场报道:https://www.ccidnet.com/news/1129953.jhtml
6. 新浪股吧转载量子位全文:https://guba.sina.cn/u/6105753431?page=2&type=thread
7. 是石科技官网公司介绍:https://www.meta-stone.com/about
8. 是石科技官网新闻中心:https://meta-stone.com/posts







