Cerebras曝59片晶圆跑Kimi K3 万亿参数

时间：2026年10月25日（Cerebras 官方技术博客于 10 月 22 日发布，10 月 23 日至 25 日间被多家英文媒体集中跟进，据 aibuzzwire 报道该文曾登上 Hacker News 首页） 地点：美国加州圣克拉拉，Cerebras Systems 人物：Cerebras 工程师 Sarah Chieng（文章作者） 事件详情：Cerebras 在其官方技术博客中首次公开了片上万亿参数模型的完整部署算法，以月之暗面开源模型 Kimi K3（约 3 万亿参数）作为实例。单片 Cerebras WSE-3T 晶圆拥有 44GB 片上内存，而万亿参数模型仅权重就需要 TB 级存储。按 4-bit 权重量化计算，Kimi K3 的 3 万亿参数约合 1.5TB 原始权重，除以 93 层后每层约 16GB，正好可以完整放进一片 44GB 晶圆。层类型决定了分配方式：稠密注意力层需要为 KV Cache 预留空间，每片只能放一层，24 层占 24 片；线性注意力层每请求只维护固定大小的状态、不需要 KV Cache，每片可放两层，69 层占 35 片，合计 59 片。模型以流水线方式执行，晶圆之间只通过标准以太网上的 RDMA 传递激活值，每跳约 2 微秒，而权重始终留在片上不发生迁移。Cerebras 称该架构可让多万亿参数模型达到每秒 1000 至 2000 以上 token，并通过微批次让不同请求同时占据流水线的不同阶段。 背景：Cerebras 的取舍是把通用性换成吞吐——权重驻留片上让 GPU 集群常见的显存带宽瓶颈消失，但代价是硬件绑定，映射到 Cerebras 晶圆的模型只能跑在 Cerebras 晶圆上。Cerebras 认为衡量片上系统更公平的口径是同等输出速度下的每兆瓦每秒 token 数，而非单加速器峰值 FLOPS，但文章并未给出该指标的具体数字，也没有公布 Kimi K3 的最终并发请求数。文章引用的 Kimi K3 成绩为 Terminal-Bench 2.1 得分 88.3%（GPT-5.6 Sol 为 88.8%），BrowseComp 得分 91.2%（GPT-5.6 Sol 为 90.4%）。该方案同时依赖 4-bit 权重量化与 8-bit KV Cache，重度量化后 3 万亿参数模型的质量表现尚缺乏独立评测。 影响：这是片上算力路线第一次给出可复算的公开部署算式，把"万亿参数模型能不能跑"从概念问题变成可采购的工程方案，也为其他芯片厂商提供了对照基准。Kimi K3 成为这一方案的展示载体，说明开源大模型正在成为新硬件架构的标准演示负载。对国内模型厂商而言，3 万亿级开源模型第一次有了明确的片上部署路径参考。 总结：Cerebras 公开的 59 片晶圆映射算法，标志片上推理从封闭黑箱走向可验证的工程方法。它未必能撼动 GPU 生态，但为超大开源模型的低成本高吞吐部署提供了一条不同于 GPU 集群的路径。 参考来源： https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras https://digestai.news/story/cerebras-explains-how-to-run-3t-models-on-wse-3t-chips https://getaibook.com/news/cerebras-wafer-scale-pipeline-trillion-parameter-kimi https://aibuzzwire.news/en/article/cerebras-trillion-parameter-models-59-wafers-kimi-k3 https://explainx.ai/blog/cerebras-trillion-parameter-kimi-k3-59-wafers-how-it-works-2026 https://megaoneai.com/launches/cerebras-trillion-parameter-model-deployment https://aiinsiders.net/article/how-cerebras-fits-a-3-trillion-parameter-ai-model-across-59 https://news.lavx.hu/article/how-cerebras-deploys-trillion-parameter-ai-models-on-wafer-scale-chips