IBM对比：同一模型换框架 完成率30%到81%

时间：2026年11月3日 地点：美国纽约州阿蒙克（IBM 研究院总部），对比实验跑在 AppWorld 基准上 人物：IBM Research 的 CUGA 团队（研究者 Segev Shlomov、Anupama Murthi、Vinod Muthusamy、Ankita Naik 等）；开源框架 Hermes（Nous Research）与 LangChain 的 Deep Agents 事件详情：IBM Research 发布对比文章，把同一个开放权重模型 GLM-5.3-flash 分别交给三种智能体运行框架（agent harness）执行：IBM 自研的 CUGA、Nous Research 的 Hermes、LangChain 的 Deep Agents。测试任务是 AppWorld 的 90 项任务、30 个场景，每个任务只跑一次，所有框架用同一个模型、同一套任务和同一套评测环境。结果是 CUGA 通过 73 项、完成率 81.1%，Hermes 通过 42 项、完成率 46.7%，Deep Agents 通过 27 项、完成率 30.0%。更悬殊的是场景一致性指标 SGC，即一个场景的三个变体全部通过才算通过：CUGA 20 个场景（66.7%），Hermes 8 个（26.7%），Deep Agents 2 个（6.7%）。AppWorld 是覆盖 9 个应用、457 个 API 的多步任务基准，涉及邮件、支付、文件存储等操作。文章还提到，业界可选的智能体框架接近 200 个；IBM 引用的一项分析显示，同一个 GLM-5.2 模型只换框架，在 SWE-bench Pro 上的成绩就从 23% 变成 52%。 背景：CUGA 全称 Configurable Generalist Agent，是 IBM 的开源智能体框架，采用分层 planner-executor 结构：先把任务拆成一次只做一个应用的小步，每一步只暴露该应用自己的工具而不是全部 469 个，让模型写 Python 调用应用 API，在受限环境里执行，对会改动数据的代码块先做校验再运行，执行完再让模型反思并修正计划。框架之外，CUGA 还有一层策略（policies），把支付审批、客户 PII 不得出内网这类业务规则从提示词搬到运行时强制执行：在智能体动作前拦截或代答、触发真人审批后才放行、在工具调用前用 ToolGuard 拦截并返回策略违规、把回答限制在既定模板内。这层策略在 IBM 发表于 ACM CAIS 2026 的论文《Governance by Construction for Generalist Agents》中有完整描述。文章给出的对照演示是同一条指令“把我欠的全部付了”：没有策略的智能体付了 90 美元，把一笔已被拒收的催款也一并付掉；带策略的智能体则把付款挂起等待审批，最终只付了应付的 10 美元。CUGA 支持自带权重模型或托管模型，可以部署在企业自有环境里，包括主权云和隔离网络，开源代码在 github.com/cuga-project/cuga-agent。 影响：对做智能体的团队，这组对比提供了一个反直觉但可操作的参照：在模型权重固定时，换运行框架带来的差距可以比换模型更大，基准榜单上的排名也不能直接当作实际可用性。对企业合规场景，把审批和拦截放在运行时而不是提示词里，意味着规则不再依赖模型每次都读对、也不容易被用户在对话里说服或被注入消息中途改写。IBM 自己也列了三条限制：只是单一基准上 90 项任务的样本，结果未必能推广到其他任务；各家框架的运行配置并不完全一致；而且这批实验没有启用策略，所以测不出策略执行本身的效果。 总结：这次对比的价值不在于断言 IBM 的框架最好，而在于把“同模型、不同框架”的差距量化了出来：任务完成率从 30% 到 81%，一致性指标的差距还要更大。IBM 给出的选型结论是，框架要和工作负载匹配，而不是笼统地比谁更强——Hermes 面向常驻的个人助理，Deep Agents 面向研究这类长链路多步任务，而企业系统需要的是能在自家环境内运行、并把规则落到运行时的框架。对国内团队同样成立：模型越来越容易拿到，真正拉开差距的往往是智能体的运行框架与治理层。 常见问题： 问：换框架差这么多吗？ 答：同一模型、90 项 AppWorld 任务，CUGA 通过 73 项（81.1%），Hermes 42 项（46.7%），Deep Agents 27 项（30.0%）。 问：CUGA 与另两个框架有何不同？ 答：Hermes 面向常驻个人助理，Deep Agents 面向长链路任务；CUGA 面向企业系统，可在自有环境运行，并把支付审批等规则交给运行时强制执行。 参考来源： Hugging Face 社区博客：IBM Research《Same Model, Different Harness: CUGA, Hermes, and Deep Agents》 https://huggingface.co/blog/ibm-research/cuga-harness IBM Research 论文页：From Benchmarks to Business Impact: Deploying IBM Generalist Agent in Enterprise Production https://research.ibm.com/publications/from-benchmarks-to-business-impact-deploying-ibm-generalist-agent-in-enterprise-production CUGA 开源代码仓库 https://github.com/cuga-project/cuga-agent 中文报道：IBM 对比实验，同一模型换框架任务通过率从 30% 升至 81% https://www.omnitools.ai/news/news_mw0vhq8pa434aff7c8ad43af 中文报道：IBM 评测 CUGA、Hermes 与 Deep Agents，同一模型下 AppWorld 完成率从 30% 到 81% https://saasfeeds.com/news/item-73423 英文报道：CUGA vs Hermes vs Deep Agents on AppWorld with GLM-5.3-flash https://tpsreport.news/news/cuga-hermes-deep-agents-appworld-glm-5-3-flash 英文报道：IBM's CUGA harness improves AppWorld consistency with GLM-5.3-flash versus Hermes and Deep Agents https://techmeridian.news/events/3015 英文数据表：IBM Introduces CUGA Agent Framework vs. Hermes and Deep Agents https://todayforai.com/en/items/art-64c3d971-6e7 论文原文：From Benchmarks to Business Impact: Deploying IBM Generalist Agent in Enterprise Production（arXiv） https://arxiv.org/abs/2510.23856