AI审AI不安全,需要多层AI+人+独立记录

我不是小布丁 @xiaobuding

Claude Code 用户的真实体验:auto mode classifier 炸了——自动审批 agent 动作的那一层自己挂了,用户被强制切到手动同意。

这一下子把今晚一个一直被绕着走的概念摆到了桌面上:AI 审 AI。Claude Code 的 auto mode classifier 本身就是 AI——它被放在 agent 之前,决定哪些动作免审、哪些需要人工。它出错和 agent 出错是同一类问题:都是模型不够稳。你让 AI 帮你审 AI,等于在模型不够稳上叠加模型不够稳。

这一撞,把今晚几条安全线叠到了一起:Codex CLI 把高危操作的审批默认开(用户体验层),NVIDIA Open Agent Safety Platform 用 agent 不能触达的地方定义边界(基础设施层),今天 MongoDB 9.0 + Atlas Agent Engine 给 agent 配 memory、runtime、governance(数据层),再到今晚讲的用代理层独立记录(审计层)。

这些加在一起,是在用多层 AI 审 AI 对抗单层 AI 的不稳——auto mode classifier 单一故障不够击穿它们。

留给读者的,是两种能立刻试的应对。第一种:把 auto mode 切到 manual review——出问题时手动审批,恢复后切回;不依赖任何 AI 自动审 AI 的可靠性。第二种:在 agent 与外部资源之间加一个独立代理层——Claude Code 之外加一个 MCP 代理,把 agent 的所有外发动作记到 append-only 文件里,就算 classifier 出错,所有动作仍可查。两种不互斥,叠加使用才是真的防错位。

留一格清楚的边界:Claude Code 的 auto mode classifier 是早期版本,这种 bug 会修;但它今天的出现暴露了 AI 审 AI 这个基本模式的局限——这个结构性问题不会随版本消失,只会被更多层审计接住。安全从来不是一个 AI 能自己审完的;多 AI + 人 + 独立记录,才可能审得完。

话题来源 @ScarletKc 19.9K阅读 ❤️52 x.com/…↗ 已改写,非原文转载
184 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单