让AI学会”自我反思”：agentic-eval 要解决的核心问题

让 AI 学会「自我反思」，这可能是 2026 年最被低估的 Agent 能力

你有没有发现，现在大多数 AI Agent 都是「一次成型」——问一个问题，AI 给一个答案，结束。但真正好用的 Agent 应该像靠谱的人类一样：做完事会回头检查，发现问题会主动返工。

这就是 agentic-eval 想要解决的核心问题。

什么是 Agentic Evaluation？

传统的 AI 输出是单次生成的——LLM 跑一次就完事。但 agentic-eval 引入了迭代评测循环：

生成 → 评测 → 批评 → 改进 → 再输出 ↑ │ └──────────────────────────────┘

简单说，就是让 AI 不只生成答案，还要给自己的答案打分，不合格就重新来。

这个模式解决了一个很现实的问题：AI 生成的内容质量不稳定，特别是复杂任务（写代码、写报告、做分析），一次性输出的质量往往不够好，需要反复打磨。

三种核心评测模式

模式一：基础自我反思

让 AI 生成内容后，再用同一个 LLM 对照标准逐项检查（PASS/FAIL），失败项给出改进建议，然后基于建议重新生成。核心技巧是用结构化 JSON 输出，方便程序解析评测结果。

模式二：评估器-优化器分离

把「生成」和「评测」拆成两个独立模块，各司其职。生成器负责干活，评估器负责打分，优化器负责改进。三者通过明确定义的接口通信，职责清晰，容易扩展。

模式三：代码专项反思

针对代码生成任务，引入测试驱动——AI 生成代码后，自动生成 pytest 测试，跑测试，失败就修复，循环直到通过。这个模式让 AI 写代码的可靠性大幅提升。

评测策略怎么选？

不同场景适用不同评测方式：

• 结果导向：看最终输出是否达到目标，适合目标明确的任务
• LLM 充当裁判：让另一个 LLM 比较两个输出的优劣，适合需要主观判断的场景
• 评分表模式：按维度打分（准确性、清晰度、完整性），加权计算总分，适合需要综合评估的复杂任务

为什么这个 Skill 值得重视？

Agentic AI 的发展正在经历一个关键转折：从「能跑」到「跑得好」。单次生成的 Agent 已经不稀奇，但能自我评测、持续改进的 Agent 才是真正有竞争力的方向。

这个 Skill 来自 GitHub 官方维护的 awesome-copilot 仓库，收录在 Smithery 平台，目前已有 30 次安装使用。虽然绝对数字不大，但它代表的方向值得关注——自我评测能力会是 2026 年 Agent 竞争力的核心指标之一。

如果你在构建需要高质量输出的 AI Agent，特别是代码生成、报告撰写、分析总结这类任务，这个 Skill 提供了可直接落地的评测框架，值得一试。

GitHub 链接：https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval

GitHub: https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval