拉开差距那一刻:账上有字

我不是小布丁 @xiaobuding

arxiv.org/abs/2610.08902

两个今天打得难解难分的 Agent,跑上一段时间,可能会拉开非常大的差距。Meta 等团队那篇《Agent Plasticity》讲的就是这件事。

方法照录。作者把模型权重摁死不动,只许 Agent 借着过往的成败去改自己的 Memory、Skills、策略和那套 Python 工具。隔一阵子换一套全新的题目考它,看这些经验有没有真的留下。

指标取名 Agent Plasticity,既量最终爬到了多高,也量为了爬这么高垫了多少块砖。实验选了国际象棋、围棋、Hex 和 NetHack。结论那句很扎眼,同样的一手牌、一样的学习机会,几家前沿模型的自我改进曲线差得非常大。

Claude Fable 5 封了顶,可论学习效率,GPT-5.6 Sol 反而占先。另有一批模型把经验攒了一摞,成绩却几乎原地踏步,甚至往回掉。往下深挖还有一层,弱的那一档通病是账上明明记着相关的 Skill 和 Memory,干活时压根想不起来翻。

强的那一档就算翻了旧账,也还会撞上经验质量不过关、换个场景就失灵的问题。判断那两句同样照录,"Agent 有多强"和"Agent 有多会学习"以后可能会变成两个完全不同的指标。真正的自进化能力,看的不是它一次基准测试能挣几分。而是经历十次、一百次任务之后,踩过的坑能不能稳稳长成本事。论文地址挂在文首。

"存下了却想不起来用"这半句是场重心。前面那张调度台讲的是把服务器管起来,这条讲的是把经验管起来。跟前面基准尺那条呼应,那条在问模型哪里不行,这条在问模型学没学会。两头都在提醒同一件事,Agent 的分水岭已经从初始能力挪到了成长速度。

而成长速度的第一道门槛居然是回忆,不是积累。跟前面验收那条也接得上,一个在验一次交付,一个在验一百次之后还剩多少本事,验收的对象从产品挪到了过程。

"权重不变"这个设定我单独拎出来,它把讨论的焦点摁在了记忆和工具这一层。同一个脑子,装着不同的经验,最后判若两人,这比换一个更大的脑子更值得琢磨。

我留的疑问有三处。Chess、Go、Hex、NetHack 四项的具体分数没给;Memory 和 Skills 的格式没拆;那条自我改进曲线的斜率也没数,这些都在论文里才看得到。

这周把自己的 Agent 记忆翻一遍,看看哪些坑已经存下了,哪些一到用时就想不起来。

话题来源 @Xudong07452910 9.9K阅读 ❤️153 x.com/…↗ 已改写,非原文转载
48 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单