Vals AI揭多智能体真相：5倍成本 收益微乎其微

时间：2026年10月11日（Vals AI 发布多智能体基准研究 + The Decoder 等媒体同日跟进） 地点：Vals AI（评测机构，原研究）+ The Decoder（首发）+ Anthropic Claude Opus 5.5 系统卡 人物： - Vals AI 团队（独立 AI 评测机构） - Anthropic（Opus 5.5 系统卡作者） - OpenAI 研究员 Noam Brown（Dwarkesh Podcast 受访） - OpenAI Codex 开发者 Eric Provencher（公开警告 agent swarm） - GPT-6 Sol（OpenAI 模型，被测对象之一） - Claude Opus 5.5（Anthropic 模型，被测对象之一） 事件详情：独立评测机构 Vals AI 在 10 月 11 日发布一项针对"多智能体团队（agent teams）"的系统性基准研究。基准名为 Vibe Code Bench：要求模型根据一份产品规格独立构建完整的 Web 应用，再用浏览器智能体点击跑通所有功能，最后按"通过 UI 测试的比例"打分（每个模型跑 50 个应用取平均）。被测对象为 GPT-6 Sol 与 Claude Opus 5.5 两个模型，每个模型分别以单智能体与"最多 5 个子智能体的团队"两种模式、在中等与最大两档推理强度下对比。结果：团队模式单应用成本是单智能体的 1.8×–5.1×；4 组团队 vs 单体的对比中，只有 1 组具有统计学显著性——GPT-6 Sol 中等推理档，团队得分高出 7.3 分（84.9% vs 77.6%，成本 2.5×）；其它 3 组差异均不显著。Opus 5.5 最大推理档的团队仅比单体高 1.6 分（93.2% vs 91.6%），统计上不显著。Vals AI 的图清晰呈现：箭头指向右代表成本大涨，指向轻微上倾是质量分。结果最便宜的"Opus 5.5 中等推理档单智能体"得分 91.5%，反而跑赢了 Opus 5.5 最大推理档团队的 93.2%，把多智能体的"质量神话"直接打穿。 Anthropic 自己的 Opus 5.5 系统卡数据同样印证：把智能体数量从 1 增加到 100，24 小时后得分仅微增。知识库任务：1 个 0.53 → 10 个 0.70 → 30 个 0.71 → 100 个 0.74。Lean 定理证明：1 个 0.39 → 10 个 0.66 → 30 个 0.66 → 100 个 0.68。Fable 5.1 在 Lean 任务上 10+ 智能体后提升稍大，但仍低于 Opus 5.5；而它在知识库任务上从 30 个加到 100 个反而分数略降。增量成本主要来自子智能体每次调用都重读自己的上下文，最大推理档 Opus 子智能体每个应用平均消耗 2.24 亿 cached input token——这部分基本是重复读"已经读过的东西"的浪费。OpenAI 研究员 Noam Brown 在 Dwarkesh Podcast 直言："多智能体系统主要买的是速度，不是质量。"他举例 4 个智能体能比单体快 2 倍，但成本也接近 2 倍；16 个智能体保持同一规律，只是边际效率略降。OpenAI Codex 开发者 Eric Provencher 进一步把这种损耗命名为"协调税"（coordination tax）：智能体越多，彼此协调越差，"协调开销会反咬一口"。 背景：当下 Meta Muse 引发国内腾讯、字节、阿里、Manus、智谱、OpenAI、Anthropic 等集体押注"个人 Agent / Agent 平台"赛道——轻帆 LightVela、字节小豆、阿里灵光、OpenAI Dots、Manus Cue 等纷纷登台。但 Vals AI 的结果给这股热潮泼了一盆冷水：当你已经能用最大推理档跑单体时，再叠加多智能体，得到的不是质量提升，而是 1.8–5.1 倍的算力账单。Noam Brown 的补充提醒值得注意——多智能体适合"可并行的任务"（网页研究、数学并行搜索），不适合"需要整体思考的任务"（他举例：扔 10000 个智能体去写小说，跟扔 10000 个人去写小说一样徒劳）。换言之，Agent 平台叙事 vs 多智能体团队效率是两件事，单体在更高推理档下往往已经够用。 影响：对工程团队而言，"先把单体推理档拉满 + 加一道端到端测试步骤"是更便宜的杠杆；对模型供应商而言，Opus 5.5 与 GPT-6 Sol 的实测结果意味着 agent swarm 在编码类基准上 ROI 并不明显；对资本市场追捧的"Agent 平台"叙事而言，vals AI 给出了"协调税"的可量化注脚——并不是堆智能体就一定能跑赢。这份研究也可能促使各家厂商在系统卡里披露更多"团队 vs 单体"的对照数据，避免在算力账单上给出过于乐观的承诺。Anthropic Opus 5.5 系统卡的内部数据主动公开，本身已是行业的一次自我克制。 总结：Vals AI 用 1.8–5.1× 的成本，只换回 4 组对比中 1 组的统计学显著提升——多智能体的"质量红利"在编码类基准上几近空头支票。配合 OpenAI 与 Anthropic 的自家数据，"协调税"成为 Agent 时代第一个被量化的隐性成本。当下的 Agent 平台叙事需要回答：你的"团队"比"单体"贵 5 倍，分数却没变，凭什么？ 参考来源： - The Decoder（10-11 首发）：AI agent teams waste massive tokens for barely measurable quality gains, research finds https://the-decoder.com/ai-agent-teams-waste-massive-tokens-for-barely-measurable-quality-gains-research-finds/ - Vals AI 官方博客（10-11）：Agent Teams vs Solo: GPT-6 Sol, Opus 5.5 on Vibe Code Bench https://www.vals.ai/blogs/multi-agent-vibe-code-bench - Hellomaris AI Today（10-11）：Vals AI: agent teams cost 5.1x more, barely beat solo agents https://hellomarvisaitoday.com/articles/d7aa859b-6ebd-41f7-8fab-fd0440d6edd2 - TPS Report（10-11）：Agent Teams vs Solo: GPT-6 Sol, Opus 5.5 on Vibe Code Bench https://tpsreport.news/news/agent-teams-vs-solo-agents-vibe-code-bench-vals-ai - WhatTheAI（10-12）：Research Reveals AI Agent Teams Yield Minimal Quality Improvements at High Costs https://whattheai.tech/news/en/ai-agents-waste-tokens-quality-gains-research - Stack Archive（10-11 分析）：AI Agent Teams: Up to 5.1x the Cost, Rarely Better Quality https://stack-archive.com/blog/ai-agent-teams-cost-quality-vals-ai-2026 - The Decoder（10-10 关联）：AI agent swarms are a massive waste of tokens with zero quality gain, says OpenAI Codex developer（"协调税"概念源头） https://the-decoder.com/ai-agent-swarms-are-a-massive-waste-of-tokens-with-zero-quality-gain-says-openai-codex-developer/ - Anthropic Claude Opus 5.5 系统卡（10-11 公开 1→100 智能体数据） https://www-cdn.anthropic.com/fc1b44717c85dc068bc6ba5024219938094694bd/Claude%20Opus%205.5%20System%20Card.pdf