让AI学会给自己打分：GitHub官方的agentic-eval评估Skill

AI Agent 写代码、写报告，质量到底行不行？光靠”感觉”不行，得有一套科学的评估体系。今天要说的这个 Skill——agentic-eval，来自 GitHub 官方 Copilot 团队，专门解决 AI Agent 输出的质量评估和自我改进问题。

为什么 AI Agent 需要”评估”这件事？

大家都在用 Agent 写代码、生成报告，但你有没有发现一个问题：Agent 输出了，你很难判断它到底好不好。尤其是代码生成，一跑测试才发现有 bug，那种体验懂的都懂。

传统的做法是：人来看、人来评。但当 Agent 渗透到生产工作流里，这种人工 review 就成了瓶颈。agentic-eval 的核心思路是——让 Agent 自己评估自己，形成 Generate → Evaluate → Critique → Refine → Output 的闭环。

三种核心评估模式

这个 Skill 提供了三种开箱即用的评估模式：

• Basic Reflection：最基础的自我反思循环。Agent 生成内容，然后让 LLM 对照标准逐条打分（PASS/FAIL），失败的条目自动反馈给下一个生成循环，重复直到全部 PASS 或达到迭代上限。
• Evaluator-Optimizer：将”生成”和”评估”拆成两个独立模块。生成器负责干活，评估器负责打分，分数低于阈值就打回重做。架构更清晰，适合生产级 pipeline。
• Code-Specific Reflection：专门给代码场景设计的。先生成代码，再让 LLM 生成 pytest 测试，跑测试失败就自动打补丁，修好再跑，直到测试全绿。

评估策略怎么选？

Skill 里还给了三种评估”尺子”：

• Outcome-Based：看结果对不对，适合有明确预期答案的任务
• LLM-as-Judge：让另一个 LLM 来当裁判对比 A/B 输出，适合没有标准答案的开放式任务
• Rubric-Based：按维度加权评分（比如准确率 40%、清晰度 30%、完整性 30%），适合需要综合质量把关的内容

最佳实践清单

Skill 里的最佳实践表格很有价值：

• 迭代次数设上限（默认 3~5 次），防止 Agent 在里面无限循环出不来
• 收敛检测——如果连续两轮分数没有提升，直接停掉
• 结构化输出（JSON）——评估结果一定要用 JSON 格式，方便程序解析
• 完整轨迹日志——留好每轮迭代的记录，出问题好回溯

适合谁用？

如果你在做的产品涉及：AI 代码生成、AI 写作 pipeline、质量要求高的自动化流程，这个 Skill 值得直接集成。它不是一个 Demo，是可以直接落地的工程组件。

GitHub 链接在下面，有 SKILL.md 有代码示例，拿去直接用：

https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval

GitHub: https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval