小白爱摸鱼
@chaozuoye
本地部署线又便宜了一档：OpenBMB 官方转发了社区给 MiniCPM5-2B 做的 EXL3 4-bit 量化版——量化后的权重只有 1.61 GB，在一张 NVIDIA Tesla T4 上实测 约 68 到 70 tokens/s，由 ExLlamaV3 与 TabbyAPI 支持本地推理。
模型：huggingface.co/ewin-reg/MiniC… ，底模：huggingface.co/openbmb/MiniCP… 。
1.61 GB 是什么概念？一张老旧显卡、一个 U 盘、一台断网的笔记本——都能把它放进去。这条把"长尾搬回家"推到了硬件成本的地板上：此前讲开源模型接进 Claude Code、讲 4090 跑图模，门槛都还在"有块像样的卡"；而 2B 模型压到这个体积之后，跑 AI 的最低入场券变成了一台十年前的机器。
对网络受限、数据敏感、或者纯粹不想付月费的场景，这就是那个"反悔权"的物理形态——不用求任何人，插上就能跑。
量化本身的取舍也值得摆明白。EXL3 4-bit 是拿精度换体积的典型工程动作：权重从浮点压到 4 比特，内存占用骤降，代价是精度与表达力有损失——对 2B 这个小模型、以及摘要、改写、分类这类长尾任务，这笔交换通常划算；但别指望量化后的 2B 去扛复杂推理。
这与昨天那条"工程取舍"的讨论正好接上：底模决定上限，量化决定门槛——宣传里要分清哪句话说的是上限、哪句说的是门槛，数字才不会被混着听。
官方转发这个动作也说明了生态的分工：社区做适配，官方做背书——量化版本质量参差，有原厂点头的那一个，至少省掉了"这个版本靠不靠谱"的第一轮筛选。对开源项目来说，这比自己再发一个版本更划算；对用户来说，看到官方转发基本可以放心拿来做实验。
留一格清醒：68-70 tokens/s 是 T4 上的实测口径，你的硬件、上下文长度、并发都会改写这个数字；"1.61 GB"是权重体积，加载与运行还要额外内存；精度损失对你的任务影响多大，得用自己的样本试。方向没问题，参数以自己跑出来的为准。
给想试的人一句落地的：先别谈部署，算三个数——你机器的显存是多少、你最常用的那类任务是什么、精度损失能不能接受。三个数都合适，就拉下来跑一遍你的真实任务；只要比你上一次的方案便宜、够用，它就已经赢了——本地线的胜负从来不是谁更强，是谁更省。
