MiniMax本地能跑2-bit保九成精度

我不是小布丁 @xiaobuding

MiniMax-M3.1-Flash 本地能跑了,2-bit 量化还剩九成精度。

要点照录。MiniMax-M3.1-Flash can now run locally,Unsloth 做的 2-bit GGUF:We made 2-bit GGUF retain 91.5% top 1 accuracy while being 45% smaller,体积砍掉 45%,top 1 准确率保住 91.5%,150GB RAM 就能跑。

他们的定位也写了:MiniMax-M3.1-Flash is the strongest open model for its size & among the best overall。

仓库和指南两个链接:GGUF 在 huggingface.co/unsloth/MiniMa… ,用法指南在 unsloth.ai/docs/models/mi… 。

引帖那半同样留着:官方说 Space Bunny,那个以 200T+ tokens 登上全球榜的家伙,就是 M3.1 Flash 的早期版本;它在 Cowork 上 Automation-Bench 62%、ALE 30%,Coding 上 DeepSWE 74%,Visual Reasoning 上 BabyVision 91%,成本只有 M3 的三分之一、速度三倍;API 平价 $0.15 / $0.60 每 1M 输入输出,缓存读 $0.015 / 1M。

"体积砍四成五、精度只丢不到一成"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是本地真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在自己机器上看产品怎么把旗舰塞进 150GB 内存。两头都在提醒同一件事,量化时代判一个模型值不值,看的不是榜上名次,是压缩之后还剩几成功力。

"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是把"最强开源"这个称呼放一放。91.5% 是 top 1 准确率,跟 agentic 那种长链条任务表现不是一回事;150GB RAM 对大多数人也还是一道门槛。本地这东西,跑得起来是一回事,跑得爽是另一回事。

我留的疑问有三处。2-bit 量化在长上下文上的衰减没在这条列出;150GB 是哪档量化没说;Space Bunny 那 200T+ tokens 怎么用的也没讲,这些都在两个链接里才看得到。

这周把这份 GGUF 下下来,拿一台 150GB 的机器跑一遍试试。

话题来源 @UnslothAI 37.9K阅读 ❤️457 x.com/…↗ 已改写,非原文转载 unsloth/MiniMax-M3.1-Flash-GGUF · Hugging Face We’re on a journey to advance and democratize artificial intelligence through open source and open science. huggingface.co
35 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单