微软白皮书:换Harness通过率高22.1个百分点
时间:2026年11月10日。事实链集中在11月7日至11月10日:11月7日微软发布关于Agent执行系统的技术白皮书,11月8日微软官方博客详解其运行机制,11月9日36氪刊发《Harness大战》,11月10日美国防务媒体DefenseScoop刊发同题观点文章。
地点:美国华盛顿州雷德蒙德(微软总部)与北京,全球模型厂商、开发者社区和企业采购方为参与方。
人物:微软、Anthropic、OpenAI、DeepSeek、月之暗面(Kimi)团队;SAIC创新与不对称技术副总裁兼首席数据科学家Jay Meil;美国法律服务公司ABC Legal首席技术官Brandon Fuller。
事件详情:11月7日,微软发布了一份关于Agent执行系统的技术白皮书,其中一组测试结果被广泛转发:在同一款Claude Opus 4.8下,仅把Copilot Studio背后的Harness换成微软的Microsoft Copilot harness,复杂任务的通过率提高了22.1个百分点;微软官方博客给出的另一组对照中,使用OpenAI模型的同一批任务通过率提高了10.8个百分点。代价写在同一份数据里:新系统每项任务调用模型的次数几乎翻倍,但折算后的输入Token消耗反而减少21%。白皮书之前,微软已在10月下旬的官方博客中说明,GitHub Copilot harness统一为Microsoft Copilot harness,这套统一框架被推广到旗下多个产品,并通过云平台向开发者出售托管服务。微软官方文档对Harness的定义是:运行智能体会话的软件层,负责把模型接到上下文和工具上、协调智能体循环、维护会话状态;同一个模型可以挂在不同harness下运行,模型负责推理,框架负责把推理变成可交付的执行过程。行业侧的动作几乎同期:11月5日月之暗面发布Kimi Hosted Agents并提出Harness as a Service,DeepSeek在8月13日以MIT协议开源全部Harness框架代码并主张「Everything is a Plugin」,OpenAI在2月披露Codex网页版、命令行与IDE插件共用同一套Agent运行系统、8月把Codex定位为开放的Harness平台、9月推出Agents API,Anthropic则在4月推出托管服务Managed Agents。
背景:把Harness单独拎出来定价,起因是Agent任务越来越长、工具越来越复杂,模型的推理能力不再是唯一瓶颈。Anthropic是较早投入这一层的公司:2025年底Claude上下文窗口耗尽后新对话接不上此前的编程任务,工程师改进了Claude Code背后的harness,让它在每个阶段结束前保存进度;今年4月推出的Managed Agents把这套能力做成可购买的云服务,Anthropic还把历史记录与沙箱从执行链路里拆开,沙箱故障也能恢复工作。学术侧的进展同样支持框架影响结果:3月底斯坦福大学等机构提出Meta-Harness,让AI根据失败记录直接修改harness代码,在一项文本分类实验里准确率提高7.7%,上下文Token消耗降到原来的四分之一;10月新加坡南洋理工大学测试了66种模型与harness组合,发现换harness甚至可能改变模型之间的性能排名;FrontierHarness Eval的对照里,同一个Kimi K3使用Codex的任务通过率为66.7%,使用DeepSeek Harness Creator为63.3%,使用Kimi Code为56.7%;11月公布的HarnessFlow尝试自动搜索更好的harness设计,在六类任务里把平均成绩提高10.89个百分点。反例同样存在:11月初的一项研究发现,一个harness按新任务优化后,原先在SWE-bench上的成绩从94%跌到32%,模型升级也可能让此前有效的设计失效。
影响:对开发者,最直接的变化是成本结构而不是跑分。Anthropic的Managed Agents每活跃会话小时收取0.08美元、Token另计,按官方给出的一小时编程任务示例,总费用0.58美元,其中托管运行费只占约14%;月之暗面的收费由模型Token、沙箱运行和付费插件构成,一次投行法律分析任务估算成本约30元,沙箱费用不足0.1元;OpenAI在Agents API公测期间不收额外服务费,按模型和工具使用量计费;DeepSeek把框架开源,本身没有直接收费逻辑。也就是说,现阶段靠harness直接挣钱很少,价值更可能在别处。对企业采购方,VentureBeat今年8月对107家企业的调查显示,85%的受访企业同时使用两套或更多Agent编排平台,挑选平台时29%最看重模型与工具的灵活性,只有10%优先考虑与某个领先模型的原生适配,说明客户希望保留更换模型的权利;美国法律服务公司ABC Legal在把Agent部署到员工电脑后,CTO Brandon Fuller选择Anthropic的Managed Agents统一管理,据Anthropic披露该公司一个月内把50多个Agent投入生产,约310名员工日常使用Claude。在防务与情报领域,SAIC的Jay Meil把逻辑推得更远:超级智能的表现差异可能不来自模型本身,而来自harness与数据结构,他的结论是底层数据体系如果是坏的,往前沿模型里投钱和堆GPU只会换来边际递减的回报。
总结:微软这组数据把「Harness比模型更重要」从口号变成了可核对的数字——同一个Claude Opus 4.8,只换执行框架,通过率差出22.1个百分点,代价是调用次数接近翻倍而Token反而更省。真正值得注意的不是这22.1,而是各家模型公司正同时把harness从内部零件做成对外可售、可托管、可开源的产品,Anthropic、OpenAI、DeepSeek、月之暗面路径各异,模型之外的运行层正在成为新的生意入口。反面同样清楚:harness的优化并不稳定,为新任务调好的框架可能在旧基准上大幅退步,11月初SWE-bench从94%跌到32%的案例就是提醒。对开发者来说,「选模型」之外,「选运行框架」正在变成一个需要单独评测和长期维护的决定。
常见问题:
问:Harness 是什么?
答:模型之上的Agent运行系统,负责调用工具、管理上下文、保存任务状态和护栏;模型负责推理,框架负责把推理变成可执行的过程。
问:换模型还是换Harness更管用?
答:微软自测里同一个Claude Opus 4.8换成微软Copilot harness后,通过率提高22.1个百分点;但框架优化不稳定,也有案例显示SWE-bench从94%跌到32%。
参考来源:
微软官方博客:GitHub Copilot harness已统一为Microsoft Copilot harness
https://www.microsoft.com/en-us/copilot/blog/copilot-studio/the-github-copilot-harness-in-copilot-studio-is-now-the-microsoft-copilot-harness/
微软官方博客:How the Microsoft Copilot harness helps agents complete complex tasks
https://www.microsoft.com/en-us/copilot/blog/copilot-studio/how-the-microsoft-copilot-harness-in-copilot-studio-helps-agents-finish-the-job/
微软官方文档:Understand agent harnesses
https://github.com/microsoft/vscode-docs/blob/b4683a7e3412f178ec0f77a606dc779fd1d5924c/docs/agents/concepts/agent-harnesses.md
链捕手腾讯科技:微软白皮书实证——换掉Harness,同样的Claude表现差出一截
https://www.chaincatcher.com/article/2303234
36氪《Harness大战》全文(C114转载,来源36氪)
https://www.c114.net.cn/industry/144255.html
DefenseScoop:Why the harness matters far more than the model for super intelligence success
https://defensescoop.com/2026/11/10/defense-ai-orchestration-harness/








