llama.cpp 决策模型套件

产品简介

llama.cpp 在 PR #29818 中正式加入 /v1/systemone 端点，本地原生支持 TypeSafe Jev 风格的决策模型（Decision Model）。决策模型是一种介于传统分类器与大语言模型之间的新范式：模型读取一次输入即返回带概率的结构化分类结果，不再生成自由文本。配合首发上线的 5 款 Apache 2.0 / CC BY-NC 4.0 开源 GGUF 模型（Julia-1、Laya、Kev-4B、lev、OpenJev），开发者可在单机 CPU / GPU 上以毫秒级响应获得可复用的「快思考」决策能力，与 LLM 形成「快 / 慢思考」互补架构。

核心功能

• /v1/systemone API 端点：在 llama-server 中新增标准 HTTP 接口，开发者只需一条 llama serve -hf ggml-org/Kev-4B-GGUF 命令即可启动决策模型服务；

• 三类型问题协议：支持 choice（多选一，带概率）、score（2-10 级评分）、noul（yes/no 概率），响应中 output_tokens 始终为 0；

• 5 款开源 GGUF 模型：覆盖 144M 到 27B 全谱系——Julia-1（144M，mmBERT-small，50+ 语言，3 ms 响应）、Laya（421M，ModernBERT-large，英文，5 ms 响应）、Kev-4B（4B，Qwen3.5-4B-Base，英文，12 ms 响应）、lev（4B，Qwen3.5-4B，英文，36 ms 响应）、OpenJev（27B，Qwen3.8-27B，支持 6 语言 + 视觉输入，43 ms 响应，唯一支持图片输入的视觉决策模型）；

• 单次前向推理：相比 LLM 每个输出 token 都要一次前向，决策模型只做一次前向推理即可返回全部选项概率；

• System One 兼容性：API 格式与 TypeSafe Jev 兼容，已有 Jev 客户端只需切换 base URL；

• Apache 2.0 商用许可：除 OpenJev 为 CC BY-NC 4.0 外，其余 4 款均 Apache 2.0，可商用；

• RTX PRO 6000 极致速度：单问题响应时间从 3 ms（Julia-1）到 43 ms（OpenJev）不等。

特色优势

• llama.cpp 是全球使用最广泛的本地 LLM 推理引擎，社区用户超百万，本次原生集成意味着任何开发者都能在本地运行决策模型；

• 决策模型填补 LLM 与传统分类器之间的中间地带：LLM 推理慢、输出不确定，传统分类器每次新增类目都要重新训练；

• 比云端决策 API（如 Cloudflare Clef、TypeSafe Jev）更隐私友好、延迟更低、无运营成本；

• Apache 2.0 协议下 4 款模型可商用，为企业部署决策模型扫清许可障碍；

• 由 llama.cpp 核心贡献者 Xuan-Son Nguyen 与 Hugging Face 工程师 Victor Mustar 共同发布，Xuan-Son Nguyen 在 ggml-org 官方博客发文。

应用场景

• 客服路由：毫秒级判定用户意图并分配到对应机器人或人工坐席；

• 内容审核：对帖子、评论、图片批量打分，识别违规概率；

• AI Agent 步骤校验：在 Agent 推理过程中判断某步是否成功、是否需要重试；

• 动作选择：让 Agent 在多个候选动作中按概率选择下一步；

• 威胁情报分类：Cloudflare 团队实测抓取-渲染-分类一个域名仅需 2.2 秒；

• 本地离线决策：在没有云端 API 的边缘设备、车载系统、工业控制场景中本地运行。

适用人群

需要毫秒级、可解释、低成本决策能力的工程师与团队，包括客服系统开发者、内容平台工程师、AI Agent 编排框架作者、隐私敏感行业（医疗、法律、金融）的 IT 团队，以及本地 LLM 玩家与硬件爱好者。

出品方

PR #29818 由 llama.cpp 核心贡献者 Xuan-Son Nguyen 提交，Hugging Face 工程师 Victor Mustar 共同发布。模型由 ggml-org 组织托管在 Hugging Face 上。决策模型范式由 TypeSafe AI 在 2026 年 9 月率先推出 Jev 模型，Jev 推出 9 天即估值破百亿、触发新一轮 10 亿美元融资。

更新动态

2026 年 10 月 2 日，Xuan-Son Nguyen 与 Victor Mustar 在 ggml-org 官方博客发布「New in llama.cpp: Decision Models」，宣布 llama.cpp 通过 PR #29818 原生支持决策模型。同步上线 5 款 GGUF 模型，托管在 Hugging Face ggml-org 组织下，包含 144M 到 27B 的全谱系。这是决策模型从云端专属能力下放到本地基础设施的关键里程碑，与同期 Cloudflare 推出的 Clef / Clef-flash 决策模型形成「本地 vs 云端」两条技术路线。

官网链接

https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp