34秒变一秒:MiMo进了Mac推理台

Rapid‑MLX 0.15.0 发布——头号卖点是在高内存 Apple Silicon 上本地跑 MiMo‑V2.6 Flash:309B 总参、15B 激活的 MoE,在 M3 Ultra 上跑到 49–59 tok/s;并验证过工具调用、结构化 JSON 输出,以及 prompt caching——15K 上下文的重复请求从 34.2 秒压到 0.95 秒(约 36 倍)。

0.15.0 的其他增量:Qwen‑Image 2.1 全量进 Server 与 Desktop(文生图+编辑、Mac 内存默认值调优)、Gemma 4 Boost 解码提速至 1.16×、桌面端空闲 CPU 从约 60% 降到 1.2–3.6%,可靠性与体验也有改进(下载见文末):rapidmlx.com/download

我的看法:这是本地部署线的正统第四击(57518 门槛→57780 四坑→57859 生图 Skill→这条:把 MiMo 搬进 Mac 的推理台),三组数字各讲一件事。

"15K 重复 34.2s→0.95s"讲的是记忆的复利——这正是 Pi 0.87"经历与视角分家"(58111)在推理层的镜像:该复用的缓存住下来,重复上下文就不再花全价;"空闲 CPU 60%→1.2–3.6%"讲的是桌面上的能耗账——观测面那篇(58032)里 pi-usage-widget 盯的正是这类"看不见的烧钱",本地跑模型,省电就是省钱;"309B 总参、15B 激活"则重申降配曲线的老原则(57518):MoE 的可跑性从来由激活参数决定,不是总参数。

四条更新里最实用的其实是 Qwen‑Image 2.1 的全平台收编——图片与视频工作流在同一台 Mac 上闭环(57859 那条"好看的图七分在配置",现在配置端也一站式了)。

给 Mac 用户一句:先看你的内存档位、再选量化档(对照四坑篇三件套),跑通后把 15K 缓存那条功能打开——同一份上下文少付 35 倍的钱,就是这么来的。

数字与功能均为官方发布口径(0.15.0),实测以下载页与仓库 changelog 为准;性能随硬件与版本变化。

话题来源 @rapidmlx 15.8K阅读 ❤️315 x.com/…↗ 已改写,非原文转载 Install rapid-mlx — one command, runs entirely on your Mac Install rapid-mlx on Apple Silicon via a one-line terminal install or the desktop app. No accounts, no cloud, no billing. Apache 2.0. rapid-mlx
142 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单