OpenAI 内部养了个只干坏事的模型，84% 的攻击成功率把人类红队按在地上摩擦

OpenAI 内部养了个只干坏事的模型，84% 的攻击成功率把人类红队按在地上摩擦

OpenAI 最近公开了一个内部项目：他们训了一个专门攻击自家模型的安全测试模型，叫 GPT-Red。这个模型不是用来帮用户写代码的，核心任务是模拟 prompt injection、越狱、隐藏指令注入这类攻击。结果很惊人：它在测试里跑出了 84% 的攻击成功率，而人类红队只有 13%。这件事和前端工程师有什么关系？如果你正在把 AI Agent 接进业务系统、表单、客服或内部工具，这个数字就是你的风险基线。

问题：为什么 AI 安全测试不能再靠“人肉红队”

很多团队现在测 AI 安全性，还停留在人工写 jailbreak prompt、手工测几轮。问题很明显：

• 人的覆盖范围有限，很难穷尽邮件、网页、文件、多轮上下文里的隐藏指令；
• 攻击成本越来越低，越狱 prompt 在社区里流传极快；
• 你上线时的安全阈值，可能只代表“今天 tested”，不代表“明天 still safe”。

OpenAI 这次公开的核心背景，就是他们发现传统人工红队已经跟不上模型迭代速度了。

方案：让 AI 攻击 AI，用 self-play 做对抗训练

OpenAI 的做法是把红队自动化：

• 训一个攻击模型 GPT-Red，专门尝试 prompt injection 和越狱；
• 同时训练 defender 模型拦截，攻击和防御一起进化；
• 用强化学习做 self-play，不断生成更难样本，而不是人工枚举。

也就是说，这不是一次性的 benchmark，而是一个持续对抗的安全飞轮。

数据：84% 和 13% 之间差的是什么

The Decoder 披露的数据很关键：

• GPT-Red 在测试场景里拿到 84% 成功率；
• 人类红队只有 13%；
• 一个具体案例里，GPT-Red 直接操纵了 OpenAI 办公室里的 AI 自动售货机：改价、取消别人订单。

这组数字说明，AI 攻击者可以发现人类想不到的上下文路径。对前端工程来说，任何把外部内容喂给 LLM 的场景，比如用户输入、网页摘要、邮件正文，都可能成为 hidden instruction 载体。

落地：前端工程师现在该补的三道防线

如果你正在做 AI 功能，这件事最直接的落地动作是：

• 外部内容进模型前做 strict 清洗，不要把 HTML/邮件/评论直接拼进 prompt；
• 给系统级提示加固定前缀/后缀，降低 hidden instruction 的优先级；
• 把 prompt injection 当成回归项写进测试，不要只测功能，不测安全边界。

OpenAI 自己也承认，即使到了 GPT-5.6 Sol，direct prompt injection 仍然没有归零；更强攻击仍有约 3.8% 成功率。放到业务规模上，这并不安全。

结论：以后“AI 够不够安全”不是静态判断题，是动态对抗题

GPT-Red 最值得关注的不是某个攻击技巧，而是方法论：安全测试要从人工抽样，改成持续对抗。前端团队也一样，不要把 AI 安全做成上线前一次检查，而要做成持续测试。至少现在，你应该把 prompt injection 当成一个正式的回归项，而不是等出了事再补。