AI Agent 都在吹”自我进化”，但到底怎么让它真的学会反思？

AI Agent 都在吹”自我进化”，但到底怎么让它真的学会反思？——这个 Skill 给了一套可直接落地的范式。

为什么 AI Agent 总是”一本正经地胡说八道”？

现在 AI Agent 火得一塌糊涂，但用过的人都有一个共同感受：输出质量不稳定。有时候惊艳，有时候一本正经地胡说八道。

问题的根源不是模型不够强，而是缺少反思闭环——Agent 跑完就结束，不评估、不修正、不迭代。生成代码不跑测试，写报告不检查逻辑漏洞，输出就是”交卷即终点”。

GitHub 官方 Copilot 团队最近在 awesome-copilot 仓库里放出了一个新 Skill：agentic-eval，专门解决这件事。

这套方案在干什么？

核心思路很清晰——把 AI 输出从”单次生成”变成”循环反思”：

Generate → Evaluate → Critique → Refine → Output

也就是说：Agent 不只是生成答案，还要自己给自己打分、找毛病、重新修正，反复这个过程直到达标。

它提供了三种基础模式：

① 基础反思循环
让 Agent 用 LLM 当”评审官”，给自己输出的每一条打分（PASS/FAIL），然后只针对 FAIL 项重新生成。代码示例很实用，直接可以嵌进现有 Agent 里。

② 评审-优化双角色分离
把”生成”和”评估”拆成两个独立组件，各司其职。生成模型负责干活，评估模型负责挑刺。超过分数阈值才放行，否则继续修。

③ 代码专项反思
这个最有意思——不是 LLM 评 LLM，而是用测试驱动修正。先生成代码，再生成测试用例，跑通才算过。跑不过就拿错误信息回去修代码，形成真正的闭环。

评价策略也有讲究

Skill 里还给了三种评价方式，根据场景选：

• 结果导向：看输出是否达到预期结果，适合有明确正确答案的任务
• LLM 当裁判：两个输出摆在一起，让另一个 LLM 做比较评判，适合优化场景
• 评分表式：按维度打分（准确40% + 清晰30% + 完整30%），有量化指标

适合谁用？

如果你在做的产品涉及这些场景，这套模式可以直接参考：

• AI 编程助手：代码生成 + 自动化测试反馈循环
• 自动化报告生成：需要内容质量达标的任何流程
• 客服/文案 Agent：需要反复打磨直到输出稳定

官方 Skill 地址在 GitHub Copilot 的 awesome-copilot 仓库，属于官方出品，品质有背书。

GitHub 链接：
https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval

GitHub: https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval