Evals Coach

Evals Coach 是一款面向人工智能产品经理的 Claude 插件，帮助 PM 在不需要任何评测工作经验的情况下，通过七个步骤将功能描述转化为可直接运行的评测方案。该工具完全基于云端，无需访问代码仓库，重点解决 AI 产品评测中质量定义模糊这一核心难题。

七步引导式评测设计

用户只需用一两句话描述产品功能及其可能出错的场景，Evals Coach 便会在七步之内引导完成完整评测方案。第一步，输入功能描述或直接粘贴真实输出，若产品已上线则粘贴生产数据，后续所有步骤均基于实际表现而非假设；第二步，由工具起草评价问题，用户确认措辞直到表述准确；第三步，将有帮助、准确等模糊形容词转化为可观测的具体行为，区分 must（必须做到）和 must-not（禁止出现）两个维度；第四步，系统生成涵盖正常、边界、对抗和关键场景的小型代表性测试集，若粘贴了真实输出则其中一半直接来源于实际数据；第五步，为每项评判标准配置打分器，支持确定性代码打分、LLM 评判、人工评判三种方式，由工具起草评判提示词；第六步，设定明确的发布门槛分值，代替以往含混不清的感觉还行标准；第七步，汇总为可直接导入团队现有评测系统的完整产物包。

评测产物：实际文件，而非建议文档

工具输出的不是关于如何做评测的建议文档，而是可直接使用的真实文件。eval plan 包含评价问题、评价标准、测试用例和发布门槛，用团队任何人都能理解的格式撰写；test-cases.csv 是经过验证的可导入测试集，可直接拖入公司现有评测工具；judge prompts 是可直接运行的 LLM 评判提示词，针对每项评判标准单独定制；calibrate.md 提供校准指南，在允许打分器拦截发布之前，先用二十个手工标注案例验证其与人工判断的一致性。

典型陷阱的克星

Evals Coach 专门针对 AI 产品评测中最常见的几类陷阱设计。帮助、有用且准确这类模糊质量词无法被评判工具打分，也无人能判断是否达标，通过 Evals Coach，模糊形容词必须被翻译为可观测行为。另一个常见问题是评分很高的评测实际上没有衡量用户真正关心的东西，该工具内置检测流程，帮助识别好分数掩盖真实问题的情况。对于生产环境中反复出现的同类故障，可直接将故障表现粘贴进去，系统会自动生成对应的回归测试用例，无需虚构数据。此外，对于依赖 LLM 评判但从未校准过其准确率的评测，calibrate.md 提供了一条清晰的路径来建立信心。

技术特性与使用方式

该插件通过纯文本流程运行，AI 与 PM 通过自然语言对话逐步构建评测方案，安装后在 Claude App 桌面端和 Claude Code 命令行均可使用，无需终端操作也可在桌面端完成全部流程。输出产物不绑定任何特定评测平台，可灵活适配团队现有工具链，出品方为独立开发者，完全免费使用。

适用人群

Evals Coach 适合以下几类用户：没有评测经验但需要量化评估 AI 功能的产品经理；缺乏专职评测资源、亟需将 AI 能力评估系统化的早期创业团队；希望将 AI 功能评测标准文档化、形成内部最佳实践的中大型企业产品部门；以及需要向利益相关方清晰展示 AI 功能质量指标的项目负责人。