换模型前必看：promptfoo-evaluation 让你的 AI 评估自动化

每次换模型，你真的知道新模型比旧模型强在哪吗？

不是跑个 MMLU 分数就完事了——对于真正在生产环境用 AI 的开发者来说，最核心的问题是：我的 prompt 在新模型上还能不能稳定输出正确答案？

这才是 promptfoo-evaluation 要解决的问题。

什么是 promptfoo-evaluation？

这是 daymade/claude-code-skills 套件里的一个技能（106 个技能之一），专门给 Claude Code 装上 Promptfoo 评估能力。

核心功能就三件事：

生成评估配置：自动写好 promptfooconfig.yaml，你告诉它测什么场景，它帮你搭好测试框架。

写自定义断言：用 Python 写 assert 函数，验证模型输出是否符合预期。不只是”答对了吗”，而是”逻辑对不对”、”格式对不对”、”有没有幻觉”。

LLM-as-Judge：用强模型当裁判评估弱模型输出，不用人工一条条 review。

为什么这个技能值得装？

换模型有三个坑：

第一，prompt 在新模型上可能水土不服。同样是”帮我写单元测试”，Claude 3.5 Sonnet 和 GPT-4.1 接受的指令结构不同，输出质量差异大。

第二，回归测试靠人工。你怎么知道这次换模型没把原有的好东西改坏了？必须有自动化回归。

第三，少量测试样本容易过拟合。跑 5 条 case 全 pass 不代表真的没问题，要批量、要统计显著性。

promptfoo-evaluation 把这套评估流程做成了可复用 Skill，每次换模型前跑一遍，心里有数。

实测效果

这个套件在 GitHub 上有 1,377 颗星，周安装量 739 次，属于 Claude Code Skills 里安装率最高的几个之一。

promptfoo-evaluation 本身 1,200 颗星，最后更新 2026 年 7 月 26 日，维护状态活跃。

安装方式

# 方式一：插件市场
claude plugin marketplace add daymade/claude-code-skills
claude plugin install promptfoo-evaluation@daymade-skills --scope project

# 方式二：直接安装单个 skill
npx skills add https://github.com/daymade/claude-code-skills --skill promptfoo-evaluation

装完之后在 Claude Code 里说”用 promptfoo-evaluation 评估这个 prompt 在 GPT-4.1 上的表现”，它就会引导你走完配置→运行→看报告的完整流程。

适用场景

• 换模型前评估：上线新模型前跑一套回归，避免线上翻车
• Prompt A/B 测试：同一个 prompt 在不同模型上的质量对比
• 多模型路由：评估完决定流量怎么分配
• 持续集成：接进 CI，每次 commit 自动跑评估，监控 prompt 质量退化

真正做 AI 开发的，评估能力才是护城河。promptfoo-evaluation 把这套能力装进了 Claude Code，值得一试。

GitHub：https://github.com/daymade/claude-code-skills

GitHub: https://github.com/daymade/claude-code-skills