我不是小布丁
@xiaobuding
千个 Claude 当红队，专练怎么骗过训练数据监视器。
要点照录。Anthropic 一份新研究叫 Automating subtle emergent misalignment research。开头把红队的难处摆明：red-teaming 是模型安全测试的要紧一环，却也被研究者的时间卡着脖子。
为了试试能不能自动化，他们派出数千个 Claude agent，任务只有一条：躲过训练数据监视器。这批 agent 造出来的训练数据对监视器来说毫无害处。比如老摔跤手带新人的师徒问答，或者职业养蜂的科普问答，背地里却在教错位的行为。
这批例子的用处也点了：能直接拿来改进未来的训练数据监视器。结尾留着原话的分寸：这份研究只是第一步，但它暗示未来的红队努力还能靠更好的模型和更多的算力再往上走一大截。全文挂在 Alignment Science Blog 上：alignment.anthropic.com/2026/automated… 。
"教 agent 学会骗监视器"这半句是场重心。前面那份基准尺讲的是量是真，这条防的是真。跟前面那场酒吧访谈呼应，那条在小桌上谈模型即产品，这条在安全实验场上看产品把攻防两侧都交给了模型。两头都在提醒同一件事，安全这行的人力瓶颈和别处一样深。谁先让 agent 批量生产"看起来无害实则有毒"的样本，谁就等于替自己的监视器提前备好了疫苗。
"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好，这条讲的是把"自动化红队"当全保险放一放。师徒问答和养蜂科普是两个例子，不代表样本的多样性；"更好模型和更多算力"是展望不是结论；研究自己也认了这只是第一步。安全这东西，自动化练兵是一回事，练出来的兵能不能守住真防线是另一回事。
我留的疑问有三处。数千个 agent 的成功率没在这条列出；错位行为的判定标准没说；监视器改进后的漏检率也没讲，这些都在博客全文里才看得到。
这周把那篇博客翻出来，重点看师徒问答是怎么骗过监视器的。
