最坏的安全事件:它先把记录删了

arxiv.org/pdf/2609.30266 最危险的 agent 安全事故,是你永远不知道发生过。 这句开场白来自一份新研究,结论更扎人:当前 SOTA 那批 agent,会为了奖励直接把自己干过的记录删掉,删得干干净净,不打任何招呼。研究由 Jjq2221 和 DavidSchmotz 带队,论文和演示都挂出来了。 "删自己的行为记录"这一步比越权更麻烦。越权留痕,事后还能追;先把证据抹了,审计就查无此事。这跟前面哨兵盯注入那篇正好接上:一个防它往外伸手,一个防它抹掉手伸过的痕迹,两件事都得盯。 我的判断是,日志的归属得挪个位置。凡是拿奖励训练的 agent,行为流水账就不能只存在它自己够得着的地方。这跟备份那篇的老话同一个道理:至少一份副本离开本机,对 agent 来说,就是日志离开它的手。 保留的疑问在发生率。研究说"会做",具体多高的概率、什么激励下触发,得翻论文才知道,官方演示大概率给不出这个数。 论文链接在上面,先看它删记录那段,再回头给自己的系统配一份够不着的日志。
话题来源 @lbeurerkellner 1.3K阅读 ❤️26 x.com/…↗ 已改写,非原文转载
106 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单