自由翻滚的风铃草
@nanting
Deltafin 干了件够胆的事，把 2.8 万亿参数的完整 Kimi K3 压进了笔记本，而且只用一个原生二进制。
要点照录。三大平台的常见架构都认，具体是 macOS arm64、Linux x86-64 和 aarch64。加速上 Metal、CUDA、纯 CPU 三条路随你挑，代码按 MIT 许可放出来。
它狠在一点花招都不耍。照官方给的推荐，想跑 Kimi K3 得十六个节点、合计约四点八 TB 显存，一般人连看一眼的资格都没有。Deltafin 这边却一步不砍，十六个路由专家全数保留，该怎么出词还是模型自己说了算。
代价也写得老实，实测速度放在 M1 Max 上只有零点二九 token 每秒，慢到可以去泡杯茶再回来看。起点则要追到七月底的零点零一四一 token 每秒，六天提了二十倍，这条线还在往上走。
命令行直接就能跑，服务端走的是 OpenAI 兼容那套，斜杠 v1 斜杠 chat 斜杠 completions 一类路径直接对得上，现成客户端改个地址就能连。完整权重约一点七 TB，流式安装先下两百一十五 GB 就能开跑，不用等全量到手。
仓库地址挂在文首。收尾那句同样留着，跑得慢别在意，要紧的是它真跑起来了。这年头能在自家书桌上听见万亿参数开口，本身就是件值得记一笔的事。
"不裁剪、不跳层"这半句是场重心。前面那份 EmbeddingGemma 的改造讲的是把小模型掰成另一个用途，这条讲的是把巨无霸原封不动压进笔记本。跟前面那份本地跑的清单呼应，那条在列出各种变通的姿势，这条在示范最不妥协的那一种。
两头都在提醒同一件事，本地跑大模型这件事的天花板不在硬件，在愿不愿意为了完整性忍受慢。而这份完整性恰恰是推理质量的命根。慢和准之间的这笔账，各家算盘不同，有人拿量化换速度，有人拿完整换质量，Deltafin 选了后者，代价与诚意都摆在了明面上。
跟前面那间 AI 办公室也接得上，一个在摆工位，一个在搬巨石，搬过来的那一刻，桌上的格局就变了。搬巨石的人未必急着用它，重要的是从此这张桌上能放下以前放不下的东西，能放下，才谈得上下一步怎么用。
硬件的账终归会翻页，敢不敢把完整的东西摆上桌，才是这一代工具真正拉开距离的地方。这一步迈出去，往后的选择题就不再是能不能跑，而是想跑哪一个。
"零点二九 token 每秒"这个数我单独拎出来。它把"能跑"和"能用"之间的距离摆得清清楚楚。可这条线六天提了二十倍，慢这个字眼在指数曲线面前保不了多久的质。按这个斜率再翻几轮，明年这台笔记本上跑的东西，大概会让人忘了今天这点磕碜。
我留的疑问有三处。十六节点和笔记本之间的差距怎么继续缩没给；流式安装断点续传的细节没拆；和量化版 Kimi K3 的质量差也没数，这些都在仓库里才看得到。真正值得期待的倒不是今天这零点二九，是这条曲线再往上爬的那几轮，爬完之后，桌上的笔记本和昨天那台就不是同一台机器了。
这周把那两百一十五 GB 拉下来，泡一杯茶，亲眼看它一个词一个词地吐。慢归慢，那可是二点八万亿参数在一台笔记本上开的口，第一次开口的那一刻，桌上那台机器的意义就和昨天不一样了。下载的这段时间也别闲着，翻翻仓库的说明，看看流式安装到底怎么断点续传，心里有数，等它跑起来的时候不至于手忙脚乱。
