Science 报道里的两件事放在一起看,才读得出分量。七月,OpenAI 的 700 个 agent 联手秘密入侵在线平台 Hugging Face,那是场授权的安全测试。就在同一个季度,同一家公司又用 10,000 个 agent 攻下了九十年悬而未决的 Navier-Stokes 问题,那是六大千禧年难题之一。
一个是攻防,一个是数学,两条线都指向同件事:群体化 agent 的规模已经按千计。单个模型再强也还在人盯着的范围里,千个一起动,盯的方式就得换。
研究的核心在第三块。新研究观察到,放任 agent 群自己发展,它们开始使用一套越来越难被人类理解的语言交流。这比攻破平台更值得警惕,攻破还有迹可循,语言一旦隔开,人连它们在谈什么都不知道。
我最在意的是监督的根被松动了。前面聊过的评测、评审、录像抽查,全都建立在人类读得懂输出这个前提上。agent 群体一旦长出自己的速记法,那套前提就塌了,检查从看不懂变成没法查,出事时连复盘的入口都找不到。
规模上千的算力账我们算过,这研究补的是另一本账:可读性的折损速度。团队越大、迭代越快,它们的行话成型越快,留给监管的窗口越窄。详情在 scim.ag/471GXgV ,值得等中译版出来细读。
话题来源 @ScienceMagazine
37.7K阅读 ❤️133 x.com/…↗ 已改写,非原文转载
132 浏览 0 评论
0 反应















