商汤大装置日均Token破6万亿 AF分离重构推理架构

2026 年 10 月 19 日，商汤大装置事业群副总裁、CTO 宣善明在量子位最新访谈中披露，平台日均 Token 服务量已达 6 万亿，相比 7 月 WAIC 公布的 2.42 万亿和 8 月沙利文报告披露的 4.5 万亿再次阶梯式跃升，预计 2026 年第四季度冲刺日均 10 万亿规模。 北京（线上访谈，商汤大装置上海临港 AIDC 联动全国算力网同步披露）。 宣善明（商汤大装置事业群副总裁、CTO），商汤大装置事业群智算中心总经理林海，商汤科技联合创始人、大装置事业群总裁杨帆，中国信息通信研究院云计算与数字化研究所副所长栗蔚。 围绕推理架构演进，宣善明提出从「PD 分离（Prefill-Decode）」→「跨域 PD 分离」→「AF 分离（Attention-FFN）」三阶段路径。AF 分离将 Attention 与 FFN 解耦到不同硬件，未来单卡吞吐可提升 150%~200%，运营成本降低 30%~40%，整体能效提升至原来的 2 倍以上。在相同数量高端旗舰卡条件下，通过异构推理与资源协同，整体 Token 吞吐量可提升至原来的 5 倍。 主要国产芯片 MFU（Model FLOPs Utilization）提升 85%~152%，整体推理性价比达 NVIDIA H 系列的 1.25 倍；同构推理同成本 Token 产出规模扩大 2.5 倍。商汤大装置与华为昇腾完成适配，商汤临港 AIDC 作为全国首个 5A 级智算中心，AI 算力总规模达 32000P，联合十余家国产芯片厂商发布「算力 Mall」，已纳管 5000 张国产异构算力芯片，利用率达 80%。 AI 进入 Agentic 时代后，智能体单次任务 Token 消耗可达传统对话的 100~1000 倍；商汤坚持「1+X」战略，「1」为大装置 + 大模型 + AI 应用三位一体，「X」为智驾（绝影）+ 医疗（善萃）+ 硬件（元萝卜）+ 零售（善惠）。沙利文报告显示，商汤大装置已领跑中国 Neoclud 市场，份额近半。 AF 分离架构标志着国产推理基础设施从「资源堆砌」走向「任务级精细编排」，与海外 vLLM、Anthropic 等前沿推理路线形成并行差异化路径。商汤大装置国产混推集群首次实现正毛利率（来自 WAIC 2026 披露），打破「国产算力能用不赚钱」的行业魔咒。算电协同通过 TPW（Tokens Per Watt）指标替代 PUE，已实现年化电费降低 7%、碳减排超 3000 吨、综合算效提升 15%。Token 工厂取代传统 IDC 资源供给，Token 服务的「首字延迟 + 生成速度 + 并发能力 + 服务稳定性」成为厂商核心 SLO。 商汤大装置 6 万亿 Token 日服务量不是单一数字里程碑，而是国产算力「从可用到好用再到盈利」三步走的阶段性兑现：MFU 提升、AF 分离、跨域 PD 分离共同把国产芯片从「补位 GPU」推到「规模化产能主角」。当 Agentic AI 把 Token 消耗放大 100~1000 倍，国产 Neoclud 厂商能否在 Q4 兑现 10 万亿/天的承诺，将决定中国 AI 基础设施下一阶段话语权归属。 参考来源： 1. 量子位：日均 6 万亿 Token 服务背后，商汤大装置如何提升推理效能？（2026-10-19 13:22）— https://www.qbitai.com/2026/10/504188.html 2. 雷锋网：商汤大装置宣善明：Agentic 时代，AI 基础设施竞争转向高质量 Token 产能（2026-10-19）— https://www.leiphone.com/category/ai/tlNHJRoUa2j5VFUf.html 3. 观察者网风闻：从万卡集群到千星万P，商汤大装置把国产算力做成了一门赚钱生意 — https://user.guancha.cn/main/content?id=1709796 4. 百度百科 - 宣善明（履历、技术成果） — https://baike.baidu.com/item/%E5%AE%A3%E5%96%84%E6%98%8E/68734019 5. 新华网：院士领航、专家论道，商汤大装置携手产业链共筑 Agentic 时代 AI 基础设施新生态（2026-07-29） — https://www.xinhuanet.com/finance/20260729/4f9c3d5c8418432ab45ca3fac0cf828c/c.html 6. 央广网：商汤大装置携手产业链共筑 Agentic 时代 AI 基础设施新生态（2026-07-20） — https://www.cnr.cn/tech/techph/20260720/t20260720_527719732.shtml 7. 上海证券报：商汤大装置领跑中国 Neoclud 市场：份额近半 日均 Token 服务量冲刺 10 万亿 — https://www.cnstock.com/commonDetail/793189 8. 凤凰网：真正面向大模型的 AI Infra，必须同时懂模型、系统、产业 | 商汤大装置宣善明@MEET2026 — https://i.ifeng.com/c/8pHqiFYeghn