Needle 2

Needle 2是由美国旧金山AI初创公司Cactus Compute开发的开源智能体语言模型，于2026年8月10日正式发布并开源。该模型仅有4500万参数，整个二进制文件仅14MB，单会话内存峰值约28MB，专为手机、可穿戴设备、智能家居和机器人等端侧设备上的工具调用、设备操作与结构化抽取任务设计。

技术层面，Needle 2采用Cactus Compute自研的Simple Attention Network架构，区别于传统Transformer，使用Hadamard MLP替代前馈网络，并配备门控查询注意力（GQA）、engram键值记忆与多车道超连接机制。模型采用Cactus Quants的CQ2-bit量化压缩技术，将参数压缩至2比特，自带推理引擎，无需额外运行时依赖。在基准测试中，Needle 2与参数规模5-70倍更大的FunctionGemma 270M、LFM2.5 230M和Apple FM等模型表现相当，在部分任务上互有胜负。

推理速度方面，Needle 2在Raspberry Pi 5上可达每秒500个token，在Meta Quest 3S和Apple Vision Pro等VR设备上达到400至1500 token每秒，在三星A系列等200美元以下手机上达到300至700 token每秒，峰值内存约28MB。模型还支持ESP32-P4等微控制器设备，有用户在ESP32-S3上成功运行，内存占用仅约11MB。

支持平台极为广泛，包括ARM64、x86-64、ARMv7、RISC-V和WebAssembly，覆盖Apple、Windows、Linux、Android和Raspberry Pi等主流系统。开发者可通过pip install cactus-needle一键安装，模型权重从Hugging Face自动缓存，无需手动下载文件。其工具调用接口设计简洁：输入文本，输出结构化JSON数据，字节级语法编译器根据声明的schema约束每一个token的生成，确保输出的可靠性和一致性。每个响应附带校准后的置信度分数，开发者可设定阈值决定是否采纳建议或升级处理；同时内置检索头，支持大规模工具目录中动态选出每轮最相关的五个工具，将解码语法约束限定在该子集。

Needle 2定位清晰：让轻量级端侧设备也能拥有本地运行的AI工具调用能力，使智能家居、消费级机器人和嵌入式系统无需联网即可完成复杂推理任务，降低延迟并保护数据隐私。