微软把它搬上了台:本地跑

微软把 2840 亿参数的模型摆上了个人电脑的台面,现场演示 DeepSeek V4 Flash 本地跑通。 三组数照录。2840 亿的参数量,量化到 1.6 bit 之后只剩约 60GB;一台 128GB 统一内存的设备就能装下。以前这个级别的模型基本只认云端算力,如今连个人电脑都开始上前叫阵。原话那句调侃也留着,AI 的下一场大战,可能要从云端打到本地。 "60GB 进笔记本"这半句是全场重心。前面推理那层三周快五倍讲的是把云端跑快,这条讲的是把云端搬下来。跟前面极稀疏模型那条呼应,一个在机房里抠效率,一个把机房整个塞进桌面,两头都在同一件事上较劲,把算力从稀缺品变成随身物。跟前面一周只开两三次也接得上,本地一旦够用,哪个窗口常开就再也不重要了。 量化这个杠杆我单独拎出来,两次提速一次靠架构,一次靠把精度压到 1.6 bit,代价与收益都摆在明面上,这类账在实验室里可算不出来。 我留的疑问有三处。1.6 bit 下的精度损失没给;统一内存之外的设备跑不跑得动没说;60GB 是模型本身还是连上下文一起算也没拆。 这周把自己的机器按这个数对一遍,看 128GB 这条线离得还有多远。
话题来源 @AndyL5cc 43.4K阅读 ❤️87 x.com/…↗ 已改写,非原文转载 Andy L (@AndyL5cc) on X 重磅!微软这波有点猛! 据称现场演示 DeepSeek V4 Flash 本地运行! 2840 亿参数,1.6bit 量化后仅约 60GB,128GB 统一内存的设备就能跑。 以前这种级别的大模型,基本得靠云端算力。 现在连个人电脑都开始挑战了。 AI 的下一场大战,可能要从云端打到本地了🤣 X (formerly Twitter)
104 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单