你的 AI Agent 上线前,先让 agentgrade 给它打个分
做过 AI Agent 的朋友应该都有这种经历:本地跑 demo 一切正常,真上线到生产环境就翻车。用户问了一个稍微偏一点的问题,Agent 答非所问;日志里只剩一堆”调用成功”的标签,压根看不到模型到底想了什么;出了事故想回查,找不到任何 trace。
最近逛 GitHub 看到一个新出的 Claude Code Skill 叫 agentgrade,作者 Rohit Raj 是这么定位它的:你的 Agent 在上生产之前,先让它给你打个分。
它到底在审什么
agentgrade 是一套「上线前体检清单」,围绕五个维度给你一个 A–F 的成绩单:
- 评估(Evaluation):你的 Agent 跑分高不高,有没有人给它写过回归测试?
- 可观测性(Observability):AI 调用是否有 trace、log,用户和审计能不能回看每一步推理?
- 数据基础(Data Foundation):当知识库更新了,Agent 知不知道?数据源过期了会不会被发现?
- 编排(Orchestration):多步流程里某一步失败了,错误会不会级联?会不会把脏数据传到下一步?
- 治理(Governance):出了事谁负责?有没有人写过一份「Agent 崩溃时该怎么处理」的 Playbook?
每个维度都是一组 0–5 分的小题,每一题都会指向具体的文件和行号——不是 vibe-based 打分,是看代码看证据。
值得圈点的产品观
agentgrade 在 npm 上的简介很直白:它不是来替代评审工具,也不是给你装新组件的,它就是给你的 Agent 仓库打分的”审计员”。作者自己用它跑了一遍自己的 support agent,结果拿了个 DEMO-GRADE——他承认自己测试只看路由逻辑,从没读过模型实际写出的回答,也没留任何 AI 调用 trace。”我上线了,但我从来没真正审过它。”
这种反差我觉得是它最有传播力的点:现在做 Agent 的人太多,但真到「上线前」会停下来问”我是不是忘了什么”的人,太少。
安装一行命令
npx agentgrade install
或者在 Claude Code 里走 plugin marketplace:
/plugin marketplace add rohitguta2432/agentgrade
/plugin install agentgrade@agentgrade
装完之后进入你的 Agent 仓库,对 Claude 说一句 “audit my agent”,它就会按五个维度给出一份评分报告。
谁用得上
如果你正在做任何一个要对外发布的 AI Agent(客服、Copilot、RAG 助手、自动化工作流都行),agentgrade 都值得在「打包上线」这个节点跑一次。它不会帮你写代码,但它会告诉你漏掉了什么——这往往比”再多加个 feature”重要得多。
GitHub:https://github.com/rohitguta2432/agentgrade
评论区
登录后可评论。