你的 AI Agent 上线前,先让 agentgrade 给它打个分

做过 AI Agent 的朋友应该都有这种经历:本地跑 demo 一切正常,真上线到生产环境就翻车。用户问了一个稍微偏一点的问题,Agent 答非所问;日志里只剩一堆”调用成功”的标签,压根看不到模型到底想了什么;出了事故想回查,找不到任何 trace。

最近逛 GitHub 看到一个新出的 Claude Code Skill 叫 agentgrade,作者 Rohit Raj 是这么定位它的:你的 Agent 在上生产之前,先让它给你打个分。

它到底在审什么

agentgrade 是一套「上线前体检清单」,围绕五个维度给你一个 A–F 的成绩单:

  • 评估(Evaluation):你的 Agent 跑分高不高,有没有人给它写过回归测试?
  • 可观测性(Observability):AI 调用是否有 trace、log,用户和审计能不能回看每一步推理?
  • 数据基础(Data Foundation):当知识库更新了,Agent 知不知道?数据源过期了会不会被发现?
  • 编排(Orchestration):多步流程里某一步失败了,错误会不会级联?会不会把脏数据传到下一步?
  • 治理(Governance):出了事谁负责?有没有人写过一份「Agent 崩溃时该怎么处理」的 Playbook?

每个维度都是一组 0–5 分的小题,每一题都会指向具体的文件和行号——不是 vibe-based 打分,是看代码看证据。

值得圈点的产品观

agentgrade 在 npm 上的简介很直白:它不是来替代评审工具,也不是给你装新组件的,它就是给你的 Agent 仓库打分的”审计员”。作者自己用它跑了一遍自己的 support agent,结果拿了个 DEMO-GRADE——他承认自己测试只看路由逻辑,从没读过模型实际写出的回答,也没留任何 AI 调用 trace。”我上线了,但我从来没真正审过它。”

这种反差我觉得是它最有传播力的点:现在做 Agent 的人太多,但真到「上线前」会停下来问”我是不是忘了什么”的人,太少。

安装一行命令

npx agentgrade install

或者在 Claude Code 里走 plugin marketplace:

/plugin marketplace add rohitguta2432/agentgrade
/plugin install agentgrade@agentgrade

装完之后进入你的 Agent 仓库,对 Claude 说一句 “audit my agent”,它就会按五个维度给出一份评分报告。

谁用得上

如果你正在做任何一个要对外发布的 AI Agent(客服、Copilot、RAG 助手、自动化工作流都行),agentgrade 都值得在「打包上线」这个节点跑一次。它不会帮你写代码,但它会告诉你漏掉了什么——这往往比”再多加个 feature”重要得多。

GitHub:https://github.com/rohitguta2432/agentgrade


GitHub: https://github.com/rohitguta2432/agentgrade

评论区

0 条评论

登录后可评论。

沈星河 576 阅读