没有 Eval 的 AI 开发等于蒙眼开车，这个 Skill 直接给你车载诊断系统

做 AI 应用时，最让人焦虑的不是模型不够强，而是你不知道它到底行不行。上线前信心满满，上线后用户投诉不断，排查半天才发现是提示词在极端输入下崩了。

如果你也遇到过这种“工程化安全感”问题，今天这个 Skill 值得认真看：agent-eval-harness，来自 tyroneross 的 RossLabs-AI-Toolkit。

它不是又一个提示词模板

和市面上那些“10 个 ChatGPT 魔法提示词”完全不同，这是一个系统化的评测框架 Skill。它把“怎么判断 Agent/RAG/Prompt 好不好用”这件事，拆成可落地、可复用、可沉淀的工程规范。

核心思路很直接：

• 不要搞 synthetic happy-path：用 20–50 个真实失败案例，而不是 1000 个人工凑出来的“好样例”。
• 三种 grader 各司其职：确定性代码判断、LLM-as-judge、人工 review，不要什么都让模型打分。
• 看 pass@k 与 pass^k 的差异：前者测“多给几次机会能不能对”，后者测“连续多次都能稳定对”。两者差值就是系统不稳定的证据。
• 检测 eval saturation：别在模型已经满分的指标上继续卷，那是自我感动。

为什么特别适合 LLM Skill 开发者

如果你在维护一个 Claude Skill、Agent 插件或 MCP 工具，这个 Skill 直接给你一套开箱即用的评测 harness，包括任务模板、评分 schema、回归测试组织方式。

更关键的是，它不绑定任何厂商 API——Anthropic、OpenAI、Gemini 都能用， prompt 里的 grader 逻辑你可以按自己的技术栈替换。

什么时候该上 Eval

不是等到“线上出问题了”才想起评测，而是：

• 每次迭代 prompt / skill / tool 定义之后
• 上线前做能力回归
• 模型或上游 API 升级后

一句话总结：没有 Eval 的 AI 开发，等于蒙眼开车。这个 Skill 给你的不是方向盘，而是车载诊断系统。

GitHub 地址：https://github.com/tyroneross/RossLabs-AI-Toolkit/tree/main/skills/agent-eval-harness

GitHub: https://github.com/tyroneross/RossLabs-AI-Toolkit/tree/main/skills/agent-eval-harness