你的AI编程Agent可能在撒谎——Linejudge：独立裁判撕开Agent自我评分的脸
AI 编程 Agent 总是拍胸脯说「修好了」「完成了」，你信吗？反正我不信。
Linejudge 干的事情很直接——它不给 Agent 自己打分的机会。Agent 报 success，Linejudge 去查真实命令、真实 diff、真实 exit code，自己出判决。Agent 的自我评估？不参考。
作者实测了 8 个 sqlite-utils 真实 issue，Agent 全部声称修好了。跑一遍 Linejudge 傻眼了：
- Agent 说修好了，但根本没写任何文件
- 修完测试全绿，但引入了新 bug——UTF-8 文件被当 UTF-16 处理
- SQL 注释没脱干净，一行注释被当成了活跃约束
标准回归测试 100% 通过，Linejudge 全揪出来了。
核心设计：它用 git worktree 做隔离快照，Agent 在独立环境跑，不会污染主仓库。verifier 是声明式的，你自己定义「什么算修好了」，完全可控。
这工具对框架作者和 Agent 开发者来说，是个硬核验证层。SWE-bench 测的是模型能力，Linejudge 测的是你的 Agent 在真实任务里有没有撒谎。
GitHub: https://github.com/phillipmex/linejudge
评论区
0 条评论
登录后可评论。