Bonsai Demo Vibe 项目

项目简介

Bonsai Demo（仓库 PrismML-Eng/Bonsai-demo）是 Prism ML 团队为旗下 Bonsai 系列超密模型提供的本地运行演示仓库。它让开发者能在 Mac（Metal）、Linux / Windows（CUDA、Vulkan、ROCm）甚至纯 CPU 上，直接跑起最新的 Bonsai 2 27B —— 一个用三值权重（ternary）压缩、仅 5.9 GB 就能装下完整 27B 级推理能力的大模型。项目的目标是「把超密智能装到本地设备上」，解决大模型既装不进手机、数据中心又养不起的双重难题。仓库采用 Apache-2.0 协议开源，当前主推 Bonsai 2 27B 作为默认演示模型，同时保留 Bonsai 1-bit 与 Ternary-Bonsai 早期系列（27B、8B、4B、1.7B）。

核心功能

• 本地运行三值 27B 大模型：Bonsai 2 27B 以三值权重实现 27B 级推理，仅 5.9 GB，可在笔记本或单张 GPU 上跑。
• 高保真压缩：官方称保留 FP16 约 98.2% 的智能水平，体积约为九分之一，数学能力与全精度仅差半个百分点，编码能力与基线持平。
• 多模态视觉：可发送照片、截图与 PDF 并提问，llama.cpp 与 MLX 后端均支持。
• Agentic 工具调用：原生支持 OpenAI 风格 tool_calls 的完整回环，并在两个演示 UI 中集成 MCP Server。
• 推理模型与思考模式：内置推理能力，可在 UI 中按对话选择推理强度，或按请求设置预算。
• 262K Token 上下文：借助混合注意力骨干，在端侧仍保持可用。
• 极致量化：PTQ1_0 打包约 1.75 bit/权重；另有 PQ2_0 打包以 1.3 GB 换取更快的提示处理，是演示默认下载格式。
• 一键脚本：./setup.sh 自动拉取适配本机的 llama.cpp 二进制与模型权重，./scripts/start_llama_server.sh 启动聊天、视觉与工具服务。

技术实现

Bonsai 2 27B 的底座建立在 Qwen3.8 27B 之上，通过三值（ternary）权重量化大幅压缩模型体积，在约 9 倍更小的内存占用下保留接近全精度的表现，官方给出「9 倍更省内存、8 倍更快、5 倍更省能耗」的对比数据。仓库默认提供 PQ2_0 打包，并附带视觉投影器（vision projector）。关键约束在于：Bonsai 2 必须使用本项目提供的 PrismML 分支版 llama.cpp 二进制，官方 llama.cpp 无法直接加载这些权重文件，setup.sh 会自动为你拉取对应平台的正确二进制。运行参数上，思考模式默认 temperature=1.0、top_p=0.95、top_k=20、min_p=0.05，指令模式则调整为 temperature=0.7、top_p=0.80、presence_penalty=1.5；模型默认使用 xhigh 推理强度，可用 medium 换取更短输出与速度平衡，官方明确 low 不被支持。输出上限建议给足（-n 16384 或更高），否则会「思考到一半」被截断。

快速上手

1. 克隆仓库：git clone https://github.com/PrismML-Eng/Bonsai-demo.git 并 cd Bonsai-demo。
2. 运行安装脚本：./setup.sh，自动下载本机所需的 llama.cpp 二进制与 Bonsai 2 27B 权重（默认 PQ2_0 打包约 7.8 GB，含视觉投影器），并顺带装好 Open WebUI 与代码解释器。
3. 启动服务：./scripts/start_llama_server.sh，随后打开 http://localhost:8080 即可进行对话、看图与工具调用。
4. 或直接在终端提问：./scripts/run_llama.sh -p "What is the capital of France?"，无需常驻服务。
5. 若要重复对话与排查提示缓存，可参考仓库内的 PROMPT-CACHE.md 说明。

适用人群

希望在本地 / 离线环境跑大模型的 AI 开发者与研究者、关注极致量化与端侧推理效率的工程师、想用笔记本或单卡 GPU 体验 27B 级多模态 Agent 的技术爱好者，以及需要用 AI 编码助手接入本项目（可指向仓库的 AGENTS.md 指南）的团队。