jev-judge-mcp Skill 技能

技能简介

jev-judge-mcp 是一个基于 MCP（Model Context Protocol）协议的判断类工具服务器，它为编码 Agent 提供 11 个由 TypeSafe 的 Jev 判断模型驱动的"判断工具"。它的核心思路是：把 Agent 手里已经拿到的材料（证据）和一个答案可枚举的问题一起交给 Jev，Jev 不返回文本，而是返回带类型的概率——例如"这条声明是否有证据支撑""这个网页是否安全可读""这些文件里哪一个能回答问题""这个补丁是否真的完成了任务"。策略层再把概率转成三种动作之一：auto（继续）、review（换一种方式复核）、escalate（停止并上报）。它专为"有固定答案集合的检查"设计，适合作为 Agent 自我把关的一环。

核心能力

• jev_verify：把声明与证据逐条核对，输出"已验证 / 被反驳 / 无支撑"，用于审查子代理报告、PR 描述或 Agent 自己的"已完成"声明，声明与证据长度不限。
• jev_gate：在宣布完成前，把补丁与完成声明一次性对照 diff 和测试日志证据检查，返回 auto / review / escalate 的发布决策（≤16 条声明、≤16 项证据）。
• jev_review：针对需求审查一个 diff，给出正确性、规格匹配度、测试缺口、影响范围以及 safe_to_apply 结论。
• jev_screen：在阅读抓取或粘贴的外部文本之前扫描提示注入与相关性风险，返回 pass / review / block / skip，长度不限。
• jev_compare：比较两段文本是同一事实、互相矛盾还是不同事实，可附加逐方面检查，用于文档与代码漂移、变更日志与 diff 对账。
• jev_find / jev_rerank：在最多 250 个候选（文件、笔记、搜索命中）中挑出能回答问题的那个，或给全部候选打相关性分数并完整排序。
• jev_classify / jev_decide / jev_extract / jev_score：批量归类（≤64 项、≤250 类）、在 2~6 个选项中做有界选择（支持 ask_user / investigate / none 逃生口）、用正则提出候选后由 Jev 逐字取回版本号/日期/价格/ID、以及按自定 2~10 级量表给严重度或风险评级。
• 一次调用胜过多轮：把同一问题下的所有声明、候选或条目放进一次调用（同一次请求内的子问题互不可见），避免逐条反复询问。

安装配置

• 环境要求：Python 3.12+、uv，以及 POSIX 系统（Linux 或 macOS）；需要一把 TypeSafe API Key（在 console.typesafe.ai/settings/keys 获取）。
• 三步安装：

# 校验并保存 Key
uvx --from 'jev-judge-mcp[typesafe]' jev-judge-mcp setup
# 把服务器写入各 Agent 的配置
uvx --from 'jev-judge-mcp[typesafe]' jev-judge-mcp install
# 离线检查配置是否正确
uvx --from 'jev-judge-mcp[typesafe]' jev-judge-mcp doctor

• 支持的客户端：Claude Code、Claude Desktop、Codex（CLI 与 ChatGPT 应用）、Cursor、OpenCode、Pi、omp、Pythinker；安装器会列出将要修改的文件并先征得确认再写入。可用 --dry-run 只看计划，用 -a claude-code 只装某一个 Agent，用 --remove 撤销安装。
• 手动注册（以 Claude Code 的 ~/.claude.json 为例）：

{
  "mcpServers": {
    "jev": {
      "command": "uvx",
      "args": ["--python", ">=3.12", "--from", "jev-judge-mcp[typesafe]", "jev-judge-mcp"],
      "env": {"TYPESAFE_API_KEY": "${TYPESAFE_API_KEY}"}
    }
  }
}

• Key 存放：setup 从环境变量 TYPESAFE_API_KEY 读取或隐藏式提示输入，从不把 Key 当作命令行参数，因此不会进入 shell 历史；校验通过后写入 ~/.config/jev-mcp/key（仅本人可读），环境变量存在时优先使用环境变量。

使用步骤

1. 运行 setup 校验并落盘 TypeSafe Key，再用 install 把 jev 服务器写入你常用的 Agent 配置，最后用 doctor 做一次离线自检并修复报错项。
2. 重启 Agent，在工具列表里确认出现 jev_verify、jev_gate 等工具（Claude Code 中显示为 mcp__jev__*）。
3. 把官方规则块（docs/agent-rules.md）加入你的主指令文件（Claude Code 的 CLAUDE.md、Codex 的 AGENTS.md），规则里写明何时该调用 Jev、何时该跳过。也可以直接把 README 里的配置提示词粘进 Claude Code / Codex / Cursor / OpenCode / Pi / omp，让 Agent 自己完成安装与规则写入。
4. 用自然语言下达判断任务，例如"用 jev_verify 把你的总结和变更日志对一遍""打开这个网页前先用 jev_screen 扫一下"，Agent 会挑选合适的工具并组织证据。
5. 按返回的 action 行动：auto 继续、review 用测试/源码/更强检查复核、escalate 停下来上报；遇到 invalid_response 表示该行未被判定，不要给它任何结论。
6. 需要与不识别 MCP 的客户端集成时，改用 jev-judge-mcp judge 与 jev-judge-mcp gate 两条命令行入口。

适用场景

• 完成度把关：编码 Agent 宣称"任务完成"前，用 jev_gate 把补丁与完成声明对照 diff、测试日志做一次发布判定。
• 提示注入防御：Agent 抓取网页、Issue、PR 评论后，先 jev_screen 再阅读，避免把恶意指令带进上下文。
• 多代理交叉验证：审查另一个 Agent 的研究报告、代码评审意见或结论中的每条声明是否真有证据。
• 搜索结果与日志分诊：对大量 grep 命中、日志行、候选文件用 jev_rerank / jev_find 排序并挑出真正相关的那个。
• 批量归类与路由：把工单、用户反馈、issue 按统一类目 jev_classify 打标，降低人工分拣成本。
• 文档与代码一致性巡检：用 jev_compare 检查文档和实现、变更日志和 diff 是否已经对不上。
• 结构化信息抽取：从长文档中稳定取出准确的版本号、日期、价格、ID（先正则提候选、再由 Jev 判定并逐字回填）。

适用人群

• 使用 Claude Code、Codex、Cursor 等编码 Agent，希望给 Agent 增加"独立判断层"的开发者与团队。
• 构建多智能体系统、需要代理之间互相校验结论的 AI 工程师。
• 对提示注入、外部内容安全有硬性要求的团队（安全、运维、平台工程）。
• 负责 Agent 评测、需要可量化判断与可追溯决策依据的工程质量人员。

工作原理

jev-judge-mcp 是一个本地 MCP 服务器：Agent 把原始证据（diff、日志、摘录）与一个答案可枚举的问题一起传入；服务器封装后调用 TypeSafe 的旗舰判断模型 Jev，Jev 返回每个选项的概率分布（基准测试中位往返 464.6 ms，约 0.025 美元/千次判断）；再由策略层把概率映射为 auto / review / escalate 行动。官方强调三条纪律：证据必须原样传入（把你的结论写进 state 只会得到赞同而非判断）；不要拿 Jev 回答无法枚举的开放式问题（新写文案、代码、研究应自己写）；也不要对同一个未变化的问题反复提问。Jev 只做筛选与判断，永远不能替代跑测试、类型检查和 lint。

官方链接

• GitHub 仓库：https://github.com/PyModel/jev-judge-mcp
• TypeSafe 控制台（获取 API Key）：https://console.typesafe.ai/settings/keys
• 判断调用指南与工具卡：仓库内 docs/guidance.md、docs/tools.md