决定在线与否的是harness不是权重

会飞的荧 @feitu

一篇来自 Dartmouth AI Lab 的论文(arXiv:2605.25233)把多 agent 系统在生产环境里的老毛病摆上了台面:大家习惯了出事就怪模型——换提示词模板、把 GPT-4 升到 Opus 5.5、再升 GPT-6 Astra——结果幻觉照旧、跨节点状态失同步、管线照样停摆。

论文给出的解释是:前沿权重本身解决不了可靠性问题——复合的协调错误会在六步之内摧毁一条无人管理的 DAG;而在他们统计的 agent 错误里,高达 92% 属于"harness 漂移",与模型能力无关。

这个 92% 值得先按住想一想。它说的是:绝大多数生产事故不是"模型不够聪明",而是工程侧的失管——契约缺失、状态漂移、节点间各说各话。换模型之所以常常无效,是因为病根本不在权重里;这与今晚从 12.5 倍实测一路走来的判断完全同向:贵的不是模型,是寄送模型的方式;现在论文把这句话升级成了可靠性版本——决定系统在线与否的,是把模型框住的那套 harness。

他们的解法叫 Meta-Agent 架构,用"经过验证的执行契约"替代自由发挥的提示词链,配一个四级归属引擎,逐级把故障消化在扩散之前。

第一级,形式化的边契约(Formal Edge Contracts)。在任何状态传给下游 agent 之前,先用数学断言对中间代码与数据把关——过不了断言的东西根本不往下走。这一步把"信任"从习惯变成了机制:下游不再需要假设上游是对的,因为不对的东西出不了门。今晚沙箱规范那篇讲"没写清楚就起不来",这里是同一件事的数据版——没验证的状态不许流动。

第二级,本地修复。契约抓到执行故障后,在隔离的沙箱里触发自动反馈补丁,中位耗时 112 毫秒,能解决 62.4% 的故障——大部分问题在原地就被摁住了,管线根本感觉不到。

第三级,上游回滚。验证器把逻辑错误归因到具体的父节点,只对那个节点定向重执行——不重启整条管线。这一级的价值在"归属":知道错在哪,才能只修那处;乱枪打鸟式地全链重跑,代价和风险都大得多。

第四级,动态图重建。执行路径真走到死胡同时,系统自主重构任务拓扑——换一条路到达同一个目标。到这一层,系统已经不只是修 bug,而是在改自己的调度方案;四级合计的故障消解比例依次为 62.4%、24.1%、8.2%,剩下的极少数才需要人介入。

论文晒出的生产遥测数字相当硬:在隔离环境里,Level-5 级的 AMC 与 AIME 数学准确率较基线的前沿模型生成提升 13.4%;代码合成在 HumanEval 达到 92.4%、MBPP 86.8%;零级联可靠性 99.8%,多 agent 错误传播被压到 0.04%——同时把原本靠人排障的流程(recovery latency 以小时计)变成自动的亚秒级修复。

数字要按老规矩留一格清醒:这是特定基准与特定架构下的成绩,跨场景要打折读;但方向上的证据是扎实的——当"换模型"不再解决问题而"加契约"解决了,投入的优先级就该重排。

把今晚的线索合到一处,这篇论文的位置很清楚:五格版图讲 harness 该怎么自进化,Spec Kit 讲规格怎么先于代码,沙箱规范讲边界怎么事前声明——Dartmouth 这篇补上的是运行时的容错学:错了怎么被发现、被归因、被就地修好。

至此,harness 的四大支柱(规格、边界、容错、进化)在一天之内被四篇重磅各钉了一颗钉子;"模型会什么"的竞赛之外,一条关于"系统怎么稳"的平行赛道已经成型。

给要在生产里跑多 agent 的人一句落地的:先量你自己的 92%——拉最近二十次故障,逐条标注"模型答错"还是"协调/状态/契约失守"。多数团队的分布会与论文撞上:后者才是大头。确认之后,别急着换模型——先给最容易出错的那条边加上契约(断言过不去就不放行),这一刀通常比任何模型升级都见效。

话题来源 @mirku21 21.6K阅读 ❤️175 x.com/…↗ 已改写,非原文转载 mirku (@mirku21) on X this is pure f*cking treasure Teams blame Claude Opus 5.5 and GPT-6 for crashes, but Dartmouth proved 92% of agent errors are harness drift When multi-agent workflows break in production, developers X (formerly Twitter)
152 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单