口袋里的模型：八兆到二十九兆

github.com/cactus-compute… Needle 把"小设备上的 AI"走通了：手机、手表、一块微控制器，自己听懂指令、调起功能，全程不用连云端——整个模型就是个 8 到 29 MB 的二进制，跑在设备本地。 它不擅长陪你聊天、擅长干活：从"把明早八点的闹钟挪到七点半"里挑出该调哪个函数、参数怎么填。 三层拆：一，以前小设备只有一条路：语音上云、等返回、再执行——网差转圈，隐私还得过别人的服务器；Needle 改成本地，数据面和延迟一起解决；二，输出由语法约束兜着、每次附校准过的置信度分数——"这次信不信"被摆上台面，和先复核再放行同思路。 三，官方数据说它在移动端工具调用上打过体积大十倍的模型——比的不是聊天、是干活效率。 口径：①8 到 29 MB、打过十倍模型是官方口径——未复现；②1.2 万星是热度面——不作质量背书；③二进制默认开遥测，介意的记得关。 要上的三条：一，先挑工具调用类场景试——闹钟、抽字段这类有明确对错的，好坏一眼可见；二，看置信度再决定信不信——低分就转人工或上云；三，遥测先关再上生产，本地不等于默认干净。 手机、手表、微控制器挨个排队：小模型一个个揣进兜里，云端那条长线，正被就地截成几段。