通义把参数表往下翻了一页,规划直指 10 万亿,还顺手把自研芯片摆上了桌。
三行照录。参数那条从三年前的 7B 写到现在的 2.4T,下一代 Qwen 的目标直指 10 Trillion,也就是十万亿;自研那条是 Zhenwu V900 芯片,216GB 大显存,单集群最高支持 50 万卡扩展;第三条把两句并成一句,软硬一体,不再受制于外部算力,全栈自研的超级集群起航。
原文的问句也留着,十万亿这个量级到底能把多模态和代码推多高,算不算下一个 GPT-6 级杀手。
"十万亿"这半句是全场重心。前面微软把它搬上了台讲的是把大模型塞进桌面,这条讲的是把大模型一路堆到天上。跟前面极稀疏模型的挑担难题呼应,那条在省着喂,这条在敞着喂,两头都在同一个问题上较劲,堆到哪一层才算够。跟前面训练也来 PD 分离也接得上,一个在架构里抠,一个在集群上铺,规模和效率两条腿都得迈。
三年从 7B 到 2.4T 这个斜率我单独拎出来,参数涨了三个数量级,可真正让人记住的从来不是数字,是这些数字最后换成了什么。
我留的疑问有三处。"规划"两个字的出处是哪份材料没标;Zhenwu V900 的实测性能没给;50 万卡这个上限是设计值还是已有值也没数。
这周把自己手头的 Qwen 按量级排一排,看从 7B 到 2.4T 这条路自己实际用了几档。
119 浏览 0 评论
0 反应















