TypeSafe evaluate Skill 技能

技能简介

TypeSafe evaluate 是 itsmostafa 开发维护的 Go 语言实现的 MCP（Model Context Protocol）服务器，将 TypeSafe 公司的 Jev 决策模型以结构化工具形式暴露给 Claude Code、Claude Desktop、Codex 和 pi 等主流 AI 编程助手。与通用 LLM 生成自由文本后再解析不同，evaluate 工具让 AI 代理获得带概率分布的确定性结构化答案，可直接用于代码分支逻辑、路由决策和优先级排序。Go 语言实现，无运行时依赖，单个静态二进制，安装和升级均通过一条命令完成。

核心能力

evaluate 工具支持三种问题类型：noul（条件成立概率）、choice（从候选选项中选最优）和 score（在有序等级上定位）。每个问题返回对应的概率分布或评分结果，以及置信度评分，AI 代理无需解析非结构化文本即可做出确定性决策。支持批量提问，多个独立问题一次 API 调用并行处理，降低延迟。内置 429 和 529 限流自动重试机制，API 错误会转为工具错误透传给 AI 代理供其读取处理。

安装配置

安装方式一（推荐，macOS / Linux）：

curl -fsSL https://raw.githubusercontent.com/itsmostafa/typesafe-mcp/main/install.sh | sh

安装至 ~/.local/bin/evaluate，升级执行 evaluate update。

安装方式二（Go 工具链）：

go install github.com/itsmostafa/typesafe-mcp/cmd/evaluate@latest

获取 API Key： 访问 https://console.typesafe.ai/settings/keys 创建 TypeSafe API Key；使用 OpenRouter 的用户可提供 OPENROUTER_API_KEY，evaluate 会自动路由到 OpenRouter Decisions 端点并按后者计费。

使用步骤

第一步：安装 evaluate 二进制 选择上述任一方式安装 evaluate，确保 ~/.local/bin 在 PATH 中。

第二步：注册 MCP 服务器（一条命令）

TYPESAFE_API_KEY=your-key-here evaluate setup mcp

该命令自动检测 Claude Code、Codex 和 Claude Desktop 的配置文件并将 MCP 服务器写入对应配置。pi 用户执行 evaluate setup pi。

第三步：重启 AI 助手 MCP 配置写入后，重启 Claude Code / Codex / Claude Desktop 使其加载新 MCP 服务器。

第四步：发起决策问题 向 AI 助手描述决策需求，例如：「使用 evaluate 判断这个工单是否紧急，以及应该由哪个团队处理：[工单内容]」。

第五步：使用返回的决策结果 返回 JSON 包含每个问题的概率/评分和置信度，AI 代理可直接用于 if/else 分支、路由逻辑或优先级排序，无需解析自然语言。

适用场景

智能工单路由： 将客服消息分类到billing/technical/sales团队，结合置信度决定是否需要人工复核。

代码变更评审： 用 noul 判断变更是否违反安全规范，用 score 评估变更严重等级。

自动化决策流水线： 在 AI Agent 执行关键操作（如合并代码、发布版本）前，用 evaluate 的结构化答案做门控判断。

多选项优先级排序： 对比多个技术方案或候选者，用 choice 类型获取带概率的推荐。

适用人群

使用 Claude Code、Codex 或 pi 进行 AI 辅助编程的开发者；在 AI 工作流中需要确定性结构化决策而非 LLM 自由文本输出的工程团队；希望在 CI/CD 和自动化脚本中嵌入可验证 AI 判断的 DevOps 工程师。

工作原理

evaluate 通过 stdio 与 AI 编程助手 MCP 协议通信。收到 evaluate 调用请求后，构造 Jev API 请求体（state + questions），发送至 TypeSafe Jev 或 OpenRouter Decisions 端点，返回结构化 JSON 结果后透传给 AI 助手。Jev 是专门针对决策判断任务优化的模型，返回结果天然具备概率分布和置信度，无需额外解析层。

官方链接

• GitHub：https://github.com/itsmostafa/typesafe-mcp
• TypeSafe 官网：https://typesafe.ai
• TypeSafe 文档：https://docs.typesafe.ai
• API 参考：https://docs.typesafe.ai/api
• 控制台（获取 Key）：https://console.typesafe.ai/settings/keys