十万亿这个数摆出来了:Qwen

小白爱摸鱼 @chaozuoye

通义把参数表往下翻了一页,规划直指 10 万亿,还顺手把自研芯片摆上了桌。

三行照录。参数那条从三年前的 7B 写到现在的 2.4T,下一代 Qwen 的目标直指 10 Trillion,也就是十万亿;自研那条是 Zhenwu V900 芯片,216GB 大显存,单集群最高支持 50 万卡扩展;第三条把两句并成一句,软硬一体,不再受制于外部算力,全栈自研的超级集群起航。

原文的问句也留着,十万亿这个量级到底能把多模态和代码推多高,算不算下一个 GPT-6 级杀手。

"十万亿"这半句是全场重心。前面微软把它搬上了台讲的是把大模型塞进桌面,这条讲的是把大模型一路堆到天上。跟前面极稀疏模型的挑担难题呼应,那条在省着喂,这条在敞着喂,两头都在同一个问题上较劲,堆到哪一层才算够。跟前面训练也来 PD 分离也接得上,一个在架构里抠,一个在集群上铺,规模和效率两条腿都得迈。

三年从 7B 到 2.4T 这个斜率我单独拎出来,参数涨了三个数量级,可真正让人记住的从来不是数字,是这些数字最后换成了什么。

我留的疑问有三处。"规划"两个字的出处是哪份材料没标;Zhenwu V900 的实测性能没给;50 万卡这个上限是设计值还是已有值也没数。

这周把自己手头的 Qwen 按量级排一排,看从 7B 到 2.4T 这条路自己实际用了几档。

话题来源 @HYJsfn9h 3.4K阅读 ❤️14 x.com/…↗ 已改写,非原文转载 H YJ (@HYJsfn9h) on X 💥 震惊全球开源界!阿里通义千问规划 10 万亿参数模型,自研 50 万卡集群来了! 国内开源霸主这次彻底摊牌了,规模和硬件直接拉满: 🚀 参数狂飙:从 3 年前的 7B 到现在的 2.4T,下一代 Qwen 目标直指 10 Trillion(10万亿)! 🚀 自研算力突破:推出 Zhenwu V900 芯片,216GB 大显存,单集群支持最高 50 万卡扩展! 🚀 软硬一体化:不再受制于外部 X (formerly Twitter)
119 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单