模型分不等于 agent 分：换谁都要重测

huggingface.co/papers/2608.11… 模型分不等于 agent 分，这句话值一次重测。 先看一个失败案例。模型选对了工具，参数也对，偏偏适配器把一个字段序列化错了。环境拒绝调用，重试策略把同一个坏请求原样提了三遍。历史越滚越长，有用的观察被挤出上下文，动作预算耗尽，任务停摆。最后得分零，锅全记在模型头上，可它其实做了正确决定。 问题出在评测隔离得不够。生产里的 agent 不孤立跑，它套在解析工具调用、存历史、管上下文、重试失败、执行预算、判定完成的系统里。跑挂了，分不清是模型还是外壳的错。换模型能改变下一次的结果，却没法定位当初的病灶：适配器、重试策略、上下文策略还是停机规则，都可能复现同一个零。 受控评测的做法是钉住变量。任务、数据、工具、预算、验证器全部固定，让同一个模型跑两套配置。一套是钉死控制循环的参考配置，量模型本身；一套是团队准备部署的完整系统，量端到端。两个结果的差值，才是外壳在该任务上的贡献。 这套思路落了地。TRACES 评测取六个过程维度：Tools、Repair、Alternatives、Coherence、Evidence、Scope，也就是它的 HDS6 评测用的那六维。提交方可以送托管模型、检查点或整套 agent 系统，走同一套参考外壳出可比结果。我读到这里才明白，以前看榜单分不清好坏，缺的就是这一层隔离。 论文测了四个与模型无关的外壳，固定模型配置，七个 LLM 环境。数字很有意思：ApodexHarness 配 Opus 拿 0.611，A-Evolve 配 GPT 拿 0.648。外壳排名会随所配模型改变，实验里没有万能赢家。 榜单把模型和外壳当一个变量，谁该修就看不出来。挑模型和挑外壳得分开称重，各自归位。 L1 链接在推文里，harness 的十一个生产组件那篇拆解也一并能找到。