两万七千八百亿参数的模型被塞进了八 GB 内存。单颗 CPU,这组合听着离谱,它偏偏跑起来了。开源项目 kimi-k3-in-c,仓库在 github.com/FareedKhan-dev… 。
干法极简。全部塞进一百七十六 KB 的可移植 C99 代码,CUDA、PyTorch、BLAS 一概不碰,显卡也省了。八百九十六个专家里每个词只激活十六个。权重放固态盘,NVMe 那头按需流式喂进来。八 GB 内存下出一个词要等二三十秒,慢得像老牛,但内存配置怎么变,输出字节级一致。
项目自陈定位是极端条件下的技术演练,日常对话别抱期待。可这一跑证明了件事:超大稀疏模型不必整坨压进内存,边用边流同样成立,MoE 的结构优势这才真正兑现。
我越看越觉得这跟前面那条本地视频的路线暗暗相通。显存不够就优化着跑,内存不够就流着跑。个人算力的天花板,正在被这类穷办法一点点顶高,工具贵没关系,办法多就有戏。
想复现的先进仓库看清楚自己的内存档位,二三十秒一个词的速度就别拿它当打字助理,当个技术标本参观倒是很值。
话题来源 @Huahuazo
1.4K阅读 ❤️13 x.com/…↗ 已改写,非原文转载
116 浏览 0 评论
0 反应














