MiniMax-M2.5 在一台 M3 Ultra 上完全本地跑起来了:40 tok/s,峰值内存 186GB,纯 MLX 栈——没有云、没有租卡,机器自己把模型吃下了。作者说下一步测 coding、长上下文和分布式。
三层拆:一,186GB 的峰值就是内存墙的实测读数:本地三部曲一路走来——云算力算钱、软件分层解带宽、这次撞硬件墙本身——墙还在,只是先被顶配填满。
二,40 tok/s 加"纯 MLX"是工程面答卷:Apple 生态的推理栈不用改模型、只调运行时;三,coding、长上下文、分布式都还是"下一步"——计划不是成果,等结果再下结论。
口径:①40 tok/s 与 186GB 是他实测——未复现、以原帖为准;②M3 Ultra 是硬件 specific——换机器数字就换;③next 三项是测试计划——非成果、不作断言。
要试的三条:一,先量自己的内存墙:模型尺寸加 KV 缓存算清楚,别到一半才发现差一截;二,看速率别只看 tok/s:换算成实际输出长度;三,长上下文先单独测:跑通不等于跑稳,分块和缓存比峰值更影响日常。
186G 的机器亮着灯,M2.5 在本地跑到 40 token——墙还在,但这次先被填满了。
话题来源 @0x0SojalSec
4.9K阅读 ❤️26 x.com/…↗ 已改写,非原文转载
197 浏览 0 评论
0 反应













