Agent 输出飘忽不定？这个 GitHub 官方 Skill 让 AI 学会给自己打分迭代

你是不是也经常遇到：让 AI 写一段代码，结果跑不通；让它写一篇分析，看着挺像回事但经不住推敲。问题不在模型不够强，而在缺少一套”自检 + 迭代”的评估闭环。

GitHub 官方 awesome-copilot 仓库（37k+ Star）里藏了一个宝藏 Skill——agentic-eval，专门解决这个问题。它不是某个具体的工具，而是一套让 AI Agent 自己给自己打分的评估模式合集。

它到底解决了什么？

普通的 Agent 流程是「一次生成 → 直接交付」，但生产环境的代码、报告、分析要求都很高，单次输出的稳定性差。agentic-eval 给出的核心思路是 Generate → Evaluate → Critique → Refine 的闭环——先让 Agent 输出，再用结构化 rubric 评估，根据反馈迭代改进，最多 3-5 轮。

三大核心模式

• Basic Reflection：Agent 自己给自己挑刺，配合结构化 JSON 输出，解析稳定。
• Evaluator-Optimizer：把「生成」和「评估」拆成两个独立组件，职责清晰，便于调优阈值。
• Code-Specific Reflection：测试驱动的代码反思循环——生成代码 → 生成 pytest 测试 → 跑测试 → 根据报错修复，特别适合自动化代码生成场景。

评估策略也别落下

文档里还给了三种评估范式：Outcome-Based（结果导向）、LLM-as-Judge（用 LLM 当裁判）、Rubric-Based（加权打分）。你可以按任务性质混搭，比如代码任务用 Outcome-Based 跑测试，内容生成用 Rubric-Based 打分。

我最推荐的实操要点

• iteration 上限设 3-5，避免无限循环烧 token
• 一定要加收敛检测，分数不涨就别再调了
• 全程记录每轮迭代历史，方便事后调试
• 结构化输出用 JSON，别让 Agent 返回自然语言，解析起来要命

最妙的是，这套模式和 Claude Code、Codex、Cursor 这些主流 Agent 工具都通——Skill 一份，到处跑。

🔗 GitHub 仓库（37k+ Star）：github/awesome-copilot

GitHub: https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval