Jeff

产品简介

Jeff 是一个 0.8B 的开放"系统 1（System 1）"决策模型：在你自己的硬件上，用几十毫秒从你定义的选项里选出一个，并为每个选项返回概率。用法是"基座加载一次，每个任务挂一个适配器（adapter），每次请求按名字选择适配器"。v1.3 转向 adapter-first 设计——零样本通吃不再是目标，基座只是训练适配器的底座，真正把某个任务做到好的是适配器：在 13 个已测适配器的测试集上，基座单独平均 38.6%，挂上适配器后平均 92.8%。官网为 jeffhub.ai，模型权重在 Hugging Face 发布。

核心功能

1. 任务适配器体系：v1.3 提供 15 个适配器，覆盖提示注入与越狱防护（guard）、紧急度与情感分诊（triage）、客服意图（support-intents）、工具路由（tools）、依据溯源（ground）、语音导航（nav）、垃圾与钓鱼（spam）、合同条款（legal-clauses）、情绪识别（emotion）等任务，按名字即可切换；v1.2 模型仍按旧名保留可用。
2. 替代大模型做决策：在 8 个适配器的同题对照中，Qwen3.8-27B 独自决策平均准确率 86.6%、单次决策 8.1 秒；Jeff 加适配器单独平均 94.6%、单次 0.25 秒（Apple M4 Max），快 35 倍；不确定时才交给 27B 兜底，准确率 95.0%、0.46 秒。
3. 资源占用极低：基座本身 1.74 GB，加载全部 15 个适配器后额外仅 2.09 GB（加载 3 个为 1.83 GB）；对照方案 Qwen3.8-27B 以 8 位量化跑在 M4 Max 上需要 28.6 GB。
4. 单任务实测：guard 98.7%（0.07 秒）、nav 98.7%、spam 98.7%、tools 98.3%（0.32 秒）、support-intents 94.3%、triage 88.7%、legal-clauses 84.8%、ground 95.0%（交给 27B 兜底后 98.0%）、emotion 59.6%（27B 仅 35.6%）。
5. Jeff-Code：基于 Pi 编码 Agent 的分支，在 Qwen3.8-27B 每一轮前后由两个小适配器做决策——有把握的信息收集步骤（读文件、列目录、搜索、检查工具链）由 Jeff 自己完成，并决定这一轮要不要"认真想"。在 1,242 个配对任务、6 个基准上，通过率 62.4% 对 62.8% 基本持平，平均每任务快 47%（用时 0.68 倍，95% 区间 0.64–0.72 倍）。
6. 多格式部署：提供面向 llama.cpp 的 GGUF 文件与 MLX 支持，可在 Mac 与 NVIDIA 显卡本地运行，适合内网与离线环境。

特色优势

毫秒级决策且完全本地运行，不把数据送出机器；回退阈值在校准集上提前固定（只在比 27B 至少高一个百分点时才启用），不在测试集上挑阈值，避免过拟合；只有 Jeff 没把握的问题才会升级给大模型，时延与成本同时下降；全部数字连同来源都放在 jeffhub.ai/results，并可用参考项目复现。

应用场景

1. Agent 工具路由：判断该调哪个工具、填什么参数；
2. 客服系统：工单紧急度与情感分诊、客户意图识别；
3. 内容安全：垃圾与钓鱼识别、提示注入和越狱拦截；
4. 法务流程：合同条款类型分类；
5. 语音产品：把语音指令映射到屏幕上的控件；
6. 任何需要低时延、可离线的意图识别与指令解析场景。

适用人群

需要低时延决策的本地大模型开发者、在意成本与隐私的企业内网落地团队、做工具调用与内容审核的产品工程师，以及研究小模型校准与回退策略的科研人员。

出品方

由 firelex 团队开源，仓库包括 firelex/jeff（模型与适配器）、firelex/jeff-code（编码 Agent 分支）、firelex/jeff-reference-app（可复现评测的参考实现），模型权重发布在 Hugging Face 的 mstrasser 账号下。

更新动态

最新版本为 v1.3：全新 adapter-first 基座、15 个适配器、面向 llama.cpp 的 GGUF 文件以及 Jeff-Code；v1.3 适配器只能用于 v1.3 基座，v1.2 模型继续按旧名提供。同期发布的 Jeff-Code 评测给出了"通过率不变、每任务快 47%"的配对结果，覆盖 SWE-bench Verified、SWE-rebench、Terminal-Bench Pro 等六个基准。

官网链接

https://jeffhub.ai （数据与结果页：https://jeffhub.ai/results） 开源仓库：https://github.com/firelex/jeff