同一个大模型,换一层”外壳”(harness,就是包在模型外面的系统提示词、工具集、上下文管理),账单能差 3 倍,而解题成功率几乎不动。这是山东大学团队和加州大学伯克利分校 Sky Lab 两组研究者分别在 2026 年 9 月和 10 月给出的结论。简单说:很多人精心挑的”更贵的 AI 编程工具”,贵的那部分钱买到的往往不是更高的分数,而是更长的系统提示词和更重的工具定义。这篇就把两篇论文的数字拆开讲清楚,并给你 4 条可以直接照做的省钱动作。

先搞清楚:harness 到底是什么

在聊账单之前,得先统一一下说法。一个 AI 编程 Agent 并不是”模型”本身,而是三层东西叠在一起:

  1. 模型:真正负责思考和写代码的那部分,比如 Claude Opus 5、GLM-5.3-Flash、DeepSeek-V4-Flash
  2. Harness:套在模型外面的那层壳,包含系统提示词、声明了哪些工具、上下文怎么压缩、每一步发什么
  3. 评测环境:任务集、跑几次、允不允许联网

过去所有的”这个工具比那个工具强”之争,说的都是第 1 层,但真正在烧钱的往往是第 2 层。而市场上大部分排行榜,是把 1、2、3 层混在一起比出来的。

山东大学:换壳之后,分数是噪声,账单是 3 倍

第一篇是山东大学 Yangze Liu 与 Zhongyi Han 的论文,编号 arXiv 2610.04433,标题就叫《What Does a Harness Buy? Tokens, Mostly》(花的是什么?主要是 token)。2026 年 10 月 3 日提交,22 页 7 张图,代码和数据都开源在 GitHub。

他们的做法很克制,这是最值得学的部分:

  • 固定模型,换壳:5 个模型分别跑过 3 个生产级 harness —— Claude Code、mini-SWE-agent、OpenCode
  • 离线任务:SWE-bench Verified 里 492 道离线题,其中 45 道是最难的(人类需要 1 到 4 小时以上),447 道是普通题
  • 自己重跑校准噪声:把同样的配置再跑一遍,看看什么都不改时分数本来就会晃多少

结果分两块。

分数这一块:换壳带来的差异,跑两遍也会出现

在 447 道大题池上,用两个 Qwen 模型测,最”重”的 Claude Code 和最”轻”的 mini-SWE-agent 通过率相差不到 2 个百分点,5 个百分点以内统计等价。

在 45 道难题上更有意思:换 harness 会让大约 13% 的任务从”通过”翻成”失败”(中位数)。但把同一个 harness 原封不动重跑一遍,翻转率也是 13%。换壳带来的波动,和你按两次回车带来的波动,是同一个量级。而且某个 harness 这次赢的任务,下一次跑往往就换成另一个 harness 赢了。

还有一个更扎心的发现:论文里提到,DeepSeek 用自己的官方命令行 harness 跑自家的 DeepSeek-V4-Flash,通过率和其他三个 harness 落在同一区间内,却是所有组合里单次成本最高的。论文原话是:厂商自己的壳配自己的模型,买不到任何分数优势。

唯一真正冲破噪声的 harness 效应是”输”:OpenCode 在大题池上最多落后 9 分,其中大约一半要归咎于它撞上 32000 token 的输出上限后被截断,代码补丁还没写完就断了。Claude Code 在同一个模型上也撞了上限,但它会提示模型继续写。

⚠️ 还有一个细节很值得说:研究者审查早期允许联网的运行时发现,439 次 DeepSeek 和 Qwen 试跑中有 312 次(71%)从 GitHub 上检索到了原始的人工修复答案。这些数据被全部丢弃,最终评测彻底断网。这就是为什么”某个 Agent 编程能力暴增”的新闻经常隔几天就反转。

账单这一块:差距在第一次调用就定了

同样一个模型、同样一批任务、同一张价格表,单任务成本在不同 harness 之间最多差 3 倍。而这个差距的根源,在第一次 API 调用就埋下了:

Harness 首次调用的系统提示词 + 工具 schema 占用
Claude Code 16581 token
OpenCode 7025 token
mini-SWE-agent 829 token

因为每一步 Agent 都会把越来越长的对话记录重新发一遍,这块”开场白”开销会被反复放大。在 GLM-5.3-Flash 上,同一题跑在 Claude Code 里大约是 mini-SWE-agent 的两倍成本、OpenCode 的三倍多。

还有个反直觉的细节:在 DeepSeek-V4-Flash 上,mini-SWE-agent 反而调用次数更多(141 次 vs Claude Code 的 104 次),最终单次成本还略高一点(15.2 美分 vs 14.6 美分)。也就是说,便宜的壳不一定在所有模型上都更便宜,成本排名会随模型变化。另外研究还提到,这些循环里 96% 到 99% 的输入 token 命中了服务商的 prompt cache,所以缓存价格会直接影响账单,但不会改变”谁最贵”的排序。

伯克利 HarnessTax:同样的话,换了另一套数字

第二篇来自加州大学伯克利分校 Sky Computing Lab 和 Arena 团队,2026 年 9 月 16 日发布,项目名叫 HarnessTax。参与作者包括 Databricks 联合创始人、Apache Spark 作者 Ion Stoica 和 Matei Zaharia,以及 LMArena 的 Wei-Lin Chiang。

他们的实验设计:7 个模型 × 3 个 harness(Claude Code 2.1.224、Codex CLI 0.146.0、极简开源壳 Pi 0.85.1),在 SWE-bench Lite 和 Terminal-Bench 2.0 上各 30 题,每题跑 3 次,容器全部断网,价格按固定直连 API 价目表算。

结论和山东大学几乎一致,但数字更刺眼:

模型 Claude Code Codex CLI Pi
Claude Fable 5 1.329 美元 / 97.8% 0.890 美元 / 96.7% 0.666 美元 / 96.7%
Claude Haiku 4.5 0.426 美元 / 52.2% 0.392 美元 / 57.8% 0.374 美元 / 60.0%
GPT-5.6 Sol 1.540 美元 / 77.8% 0.561 美元 / 73.3% 0.441 美元 / 74.4%
GPT-5.6 Luna 0.152 美元 / 55.6% 0.035 美元 / 55.6% 0.030 美元 / 53.3%

格式是”每次尝试的成本 / 通过率”。看第一行:Claude Fable 5 在 Claude Code 里 97.8% 通过、花 1.329 美元,在 Pi 里 96.7% 通过、花 0.666 美元。分数差 1.1 个百分点,落在置信区间(93.3% 到 100%)里,而 Agent 走步数几乎一样(15.3 步 vs 15.4 步)。就是同样的动作量,账单差了一倍。

最狠的一行是 GPT-5.6 Luna:同样的 55.6% 通过率,15.2 美分 vs 3 美分,五倍差距。

而 Haiku 那一行更有意思:Claude Code 不只是更贵,还更差(52.2% vs Pi 的 60.0%)。

为什么?同样从第一次调用算起:

Harness 声明工具数 工具 schema 字符数 首次调用 token
Pi 4 2873 1972
Codex CLI 7 18114 11308
Claude Code 23 76995 27011

23 个工具对 4 个工具,工具定义就占了 27 倍空间。总体算下来,Claude Code 平均成本大约是 Pi 的 2 倍、Codex 的 1.6 倍。作者们管这个差距叫”harness tax”(壳税),并且很明确地说:你什么时候付这笔税?当你用默认壳、从没拿它跟别的比过的时候。

⚠️ 诚实的补充:伯克利这套测的是短任务、直连 API 价、不带子 Agent、不带 hooks、不带 MCP —— 恰恰是”人们装一个重型壳”的理由之外的那部分。Pi 拿着 4 个工具在”修个 bug”上打到帕累托前沿,不等于它在长任务、多工具、需要项目级上下文时也能赢。这两篇论文都没有否定重型 harness 的全部价值,只是把”你多付的钱到底买到了什么”这个问题摆到了台面上。

还有一个更狠的现实:等着不干活,也是成本

10 月 25 日当天,AWS 和加州大学伯克利分校还联合开源了一个叫 Infinity 的运行时,专门解决 Agent”等待”的问题。做法是:把对话存下来,把 Agent 进程关掉,等到结果回来再把它唤醒。

官方博客给的数字很夸张:8GB 内存的树莓派 5 上能塞进 75000 个并发等待中的 Agent。⚠️ 但这个数字是外推得出的,不是直接测出来的:他们用模拟模型在单个 AMD EPYC 线程上跑了 8 万个 Agent、320 万次 completion,测出每个空闲 Agent 约 100KB 常驻内存,再推到 8GB。

同一篇报道里还提到一个数字,比 75000 这个更实用:同样的结果,账单能因为工具链不同而相差最多 3 倍。这跟山东大学的结论是同一件事的两面 —— 你为”Agent 等结果期间占着机器”付的钱,和你为”Agent 每一步重复发送超长提示词”付的钱,本质都是包装层的账。

这正好呼应了 10 月 25 日那期日报的总结:现在的核心问题已经不是”该选哪个模型”,而是”我这台机器上一天要跑什么、该由谁负责报警、我到底在为把事情往前推而付多少钱”。这是运营问题,不是研究问题。

照着做的 4 条省钱动作

  1. 先跑两次自己的基线。论文给出的分辨率标准很明确:45 道题只有一半概率能抓出 13 分的差距,447 道题能分辨 5 分。所以任何小于 5 分的”升级后更强”宣称,在小样本上基本都是噪声。先把现状跑两遍,看清自己的波动区间。
  2. 按”每解决一个任务的成本”算账,不要按”每次调用”算。把账单除以真正通过的任务数,而不是看 token 单价。
  3. 给同一模型配一个精简壳做对照。不用立刻换掉主力工具,先拿 mini-SWE-agent 或 Pi 这类极简壳跑同一批任务,对比首调用 token 和总成本。如果省下来的钱很可观,再考虑要不要降级主力。
  4. 检查你的工具集是不是太胖。如果你的 Agent 一次声明了 20 多个工具,其中一半这个任务根本用不到,精简工具 schema 往往比换模型省钱得多。重复传的系统提示词和工具定义会被每一步放大,这是最大的隐性开销。

一句话总结

山东大学和伯克利两篇论文说的是同一件事:模型的分数决定上限,harness 决定账单。如果你在纠结”要不要升级到更贵的 AI 编程工具”,先别急着掏钱,先去查一下这个工具的系统提示词有多长、声明了多少工具、重跑两次你的分数波动有多大。这三个问题问完,答案基本就在眼前了。

📚 参考信源:

  1. What Does a Harness Buy? Tokens, Mostly(山东大学,arXiv 2610.04433)- (https://arxiv.org/abs/2610.04433)
  2. 论文代码与数据仓库 – (https://github.com/YangzeLiu/what-does-a-harness-buy)
  3. VentureBeat:A coding agent’s harness can triple its cost without making it more accurate – (https://venturebeat.com/ai/a-coding-agents-harness-can-triple-its-cost-without-making-it-more-accurate-study-finds)
  4. HarnessTax 项目页(UC Berkeley Sky Computing Lab 与 Arena)- (https://harnesstax.github.io/)
  5. HarnessTax 架构拆解与数据表 – (https://academy.codearia.com/en/articles/harness-tax-claude-code-vs-codex-vs-pi)
  6. AWS 官方博客:Introducing Infinity, a runtime for extreme agent concurrency – (https://aws.amazon.com/blogs/opensource/introducing-infinity-a-runtime-for-extreme-agent-concurrency/)
  7. Pondero 新闻:Study finds coding-agent harness choice swings cost 3x without improving accuracy – (https://pondero.ai/news/2026-10-25-coding-agent-harness-cost/)

引用总结:本文引用了 arXiv 原始论文摘要、VentureBeat 报道、HarnessTax 官方项目页、AWS 官方开源博客与 Pondero 新闻的全部数据,核心数字(3 倍成本差、13% 翻转率、16581 / 7025 / 829 token、27011 token 首次调用、8GB 树莓派 75000 Agent、100KB 每个空闲 Agent)均来自官方或论文原文,其中 75000 与 100KB 两项为外推值,本文已明确标注。

❓ 相关问题:

1. Claude Code 是不是性价比最差的?
从两篇论文的数据看,在纯代码修复任务上它确实是最贵的壳之一(首次调用 27011 token、工具 schema 76995 字符、平均成本约 Pi 的 2 倍)。但它也是三者里唯一提供了子 Agent、hooks、MCP 生态的,很多复杂长任务离不开这些能力。结论不是”别用”,而是”别在简单任务上无脑用”。

2. 极简壳(mini-SWE-agent、Pi)适合什么样的场景?
适合目标明确、环境干净、需要控制成本的任务,比如批量修简单 bug、跑回归测试、做代码迁移。它们在长任务和需要项目级上下文时通常会明显吃力。论文本身也强调伯克利那套测试不含子 Agent 和 MCP,不构成对完整功能的比较。

3. 怎么看”新版工具通过率涨了 X 分”这种宣传?
先看样本量。论文给了明确分辨率:45 道题只能有一半概率抓出 13 分差距,447 道题能分辨 5 分。所以小于 5 分、单次运行的对比基本可以当噪声处理。另外要警惕论文里提到的现象 —— 允许联网时 71% 的试跑直接从 GitHub 捞到了原始答案。

4. 团队该按什么指标采购 AI 编程工具?
按”每个解决任务的成本”加上”分数波动区间”这两个维度一起看。跑两次自己的基线拿到波动区间,再看工具在同区间内的表现。如果一个工具的分数落在你自己的噪声范围内,那它的溢价买到的就不是能力。

5. 除了换壳,还有什么降本手段?
两条现成路径:一是减少工具数量,工具定义是首调用开销的大头;二是让等待中的 Agent 释放机器,AWS 和伯克利开源的 Infinity 就是干这个的 —— 存下对话、关掉进程、结果回来再唤醒,一个空闲 Agent 只要约 100KB 内存。