唐杰团队Trace as State前放痕迹赢26组

会飞的荧 @feitu
唐杰团队这篇论文不是讲故事,是把长上下文推理的天花板直接掀了。 论文的重大发现:不是模型不会读百万字,是「晚发现的状态」进不了前面token的表示。条件先给vs后给,最坏记忆差一个指数级。 具体来说,他们提出了Trace as State方法:把第一轮推理痕迹当任务状态,塞到长文前面再读一遍。对照组Trace Append用同一段痕迹,只是放在文后。 27组模型×任务×指标,前放赢后放26组。不是玄学,是顺序本身在赚钱。 最震撼的数据:GraphWalks Parents精确匹配,DeepSeek V4 Pro Preview从首轮29.2%到后放43.0%再到前放81.8%;GLM-5.2从首轮66.4%到后放83.2%再到前放100.0%。 同一套方法在MRCRv2、NUB-1M上跨DeepSeek/GLM/Qwen三家都成立。痕迹条数从1加到5,前放始终压过后放。 智谱这条路有多可怕:GLM-5.2在最难的图行走父节点任务上,不改架构、不改训练,只改"状态何时可见",直接打满100%。别人还在加层、加cache、加loop层数,他们已经把"第二次过"做成可上线的推理缩放。 层内循环是GPT-6 Astra的传闻,跨pass回灌状态是已经写进论文、且自家模型先打穿的现实。 论文:arxiv.org/abs/2609.02702
话题来源 @NFT_Chen 12.5K阅读 ❤️136 x.com/…↗ 已改写,非原文转载
21 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单