agentic-eval：让 AI Agent 学会自我批判和迭代优化

LLM 迭代优化一直是 Agent 开发里的硬骨头——单次生成不够精准、缺乏自我纠错能力、输出质量全靠「碰运气」。

今天挖到一个来自 GitHub 官方 awesome-copilot 仓库的 Skill——agentic-eval，专门解决「AI Agent 怎么评价自己、怎么变得更好」这个问题。

核心理念：Generate → Evaluate → Critique → Refine → Output

它把 AI 生成从「一次性输出」变成了一个完整的自驱优化循环：生成结果 → 评测 → 批评 → 改进 → 再输出，直到达标或达到最大迭代次数。

听起来简单，但关键是每个环节都有具体模式，不是空谈。

三大核心模式

1. Basic Reflection（基础自省）
让模型对照预设的评价标准，给自己打分。结构化输出 JSON，解析 critique 结果，失败项触发下一轮改进。

2. Evaluator-Optimizer（评测-优化分离）
把「生成」和「评测」拆成两个独立组件，各司其职。设一个分数阈值（比如 0.8），达到就退出，否则持续迭代。

3. Code-Specific Reflection（代码自测环）
针对代码生成场景：生成代码 → 自动生成测试用例 → 运行测试 → 失败就修复。相当于给代码装上了 TDD 引擎。

三种评测策略

• Outcome-Based：看结果对不对，适合有明确答案的任务
• LLM-as-Judge：用 LLM 裁判比较 A/B 输出，解决主观评价问题
• Rubric-Based：多维度加权评分（准确性 40%、清晰度 30%、完整性 30%），最接近人类评审

最佳实践避坑

• 先定义清晰可量化的评价标准，别等生成完再定规则
• 迭代上限设 3~5 次，防止死循环
• 增加「收敛检测」——两轮分数不涨就提前退出
• 全程保留完整迭代轨迹，方便 debug
• 结构化输出（JSON）而不是纯文本，保证解析可靠

这个 Skill 特别适合做这些场景：高质量代码生成、投资报告分析、严格合规内容审查，以及任何「一次搞不定、必须迭代」的生产级任务。

GitHub 上 20k+ Stars，来自官方 awesome-copilot 仓库，30 次安装验证——这基本是目前最系统的 Agent 自评方法论 Skill 包。

👉 GitHub 链接

GitHub: https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval