LobeHub开源多智能体平台 宣称通过率超Codex

时间：2026 年 11 月 8 日晚至 9 日。量子位于 11 月 8 日晚在公众号发布对开源项目 LobeHub 的实测报道，网易号 11 月 9 日 13:42、量子位官网 11 月 9 日 13:47 更新，LobeHub 的 GitHub 仓库当天仍有代码推送。 地点：线上开源项目 LobeHub，代码托管于 GitHub，仓库为 lobehub/lobehub；实测与撰文由中文 AI 媒体量子位完成。 人物：实测与撰文由量子位作者文婷完成；LobeHub 方面未在报道中点名具体负责人，文中引用了团队一位研发成员的说法。 事件详情：报道说，LobeHub 把多 Agent 协作做成了产品并开源，团队内部用这套平台跑研发，Agent 自己拆任务、派活、写代码、审查修改，还能跨项目接力。文中给了两个具体例子：一是 10 月 28 日的任务 T-1149，主管 Agent Nasa 建单后派给编码 Agent Dario，Dario 提交 PR #21852，OpenAI 的 Codex 审查机器人挑出问题，Dario 改完再交回，最终经人工审阅合并；二是 Agent-foundry 项目需要 lobe-ui 组件库增加自定义中性色支持，两个项目的 Agent 直接对接，lobe-ui 发布 6.0.1 后上游收到升级通知。LobeHub 方面称，在 FrontierHarness 的 30 道软件工程任务中，其优化后的 Agent Harness 用 Kimi K3 完成 21 道，通过率 70%，每道成功任务的成本中位数为 1.68 美元，约合 11.21 元人民币，超过 Codex 和 Claude Code；报道还称该仓库在 GitHub 上已积累 8.44 万个 Star。按 GitHub 接口 11 月 9 日晚的读数，星标 84514、复刻 16155，仓库建于 2023 年 5 月 21 日。 背景：FrontierHarness Eval 是一套可复现的 coding-agent harness 对比评测，模型固定为 Kimi K3（由 Fireworks 提供），9 个 harness 拆成 12 种配置，在同一批 30 道软件工程题（21 道 Terminal-Bench 加 9 道 DeepSWE）上跑满 360 次评测，由 verifier 判 pass 或 fail，每次运行都从同一个全新 checkpoint 恢复，以避免缓存预热带来的偏差。公开榜单当前的排序是：Codex 通过率 66.7% 居首，每次通过成本中位数 3.47 美元、中位耗时 6 分 43 秒；Claude Code 通过率 63.3%，但每次通过成本中位数高达 18.34 美元；Exo Harness 通过率 53.3%，却把每次通过成本压到 1.05 美元；DSH Minimal 的中位耗时最快，为 5 分 41 秒。评测方把这条曲线概括为相近通过率下成本相差 17.5 倍，并提醒算账要用每次通过成本而不是平均单题成本。LobeHub 自身的路径也有迹可循：2023 年开源 LobeChat，2026 年 1 月的 LobeHub 2.0 引入 Agent Group 与 Memory，5 月推出 CAO（首席智能体运营官）编排能力，本次把协作能力整体开源，并提出 Self-Driving Organizations 的 L1 至 L5 分级，团队内部目前运行在 L3。 影响：这次开源让多 Agent 协作从各家闭源产品的演示，变成可以自行部署的代码加一套有公开方法论的评测框架，LobeHub 给出的实现要点包括：把 Agent Loop、保存任务状态的 Session 和调用工具的运行环境分开管理，让 Agent 在用户退出对话后仍能后台推进；把工作目标、任务进度、交付文件与验收记录放进共享工作空间，使接手的 Worker 知道前一位同事做完了什么；用 Acceptance 多模态验收能力，把测试结果、截图、录屏作为交作业的证据，最终验收权留在人手里。同时也要看到，LobeHub 自评的 70% 与 1.68 美元目前无法独立复现：FrontierHarness Eval 的公开结果表列出 12 种配置，包括 Codex、Claude Code、DeepSeek Harness 的四个配置、Pi、Oh My Pi、Kimi Code、Exo Harness、OpenCode 和 Hermes，其中没有 LobeHub，也没有公开对应的运行记录。量子位的实测提供了另一侧证据：在其搭建的 AI 编辑部场景中，主编 Agent Sienna 不到 8 分钟交回 6 条选题，约 10 分钟后自行新建两名 Worker 分别做网页开发与独立验收，全程约 30 分钟交付一个可筛选、可搜索的资讯看板；LobeHub 团队还跑过一次耗时 2 天 3 小时 47 分钟、拆出 60 个任务、完成 56 次独立迁移的客户端数据迁移任务，团队一位研发成员称自己三个月没在本地启动过 Dev Server，体感效率提升约 3 到 5 倍。 总结：这次开源的意义在于把多 Agent 协作从闭源产品演示推到可自行部署的代码，并给出一套可复现的选型口径，固定模型、任务与运行时，只换 harness，再按每次通过成本算账，这套方法论本身比任何一家的分数都更值得抄。但 LobeHub 那组 70% 通过率和 1.68 美元成本来自它自己优化后的配置，公开榜单上并没有这一行，所以它是厂商自报数，不是第三方结论。量子位的实测说明这套东西确实能自己派活、招人、跨项目接力，只是效率提升 3 到 5 倍同样出自团队成员口述。对想动手的开发者，稳妥做法是照公开评测的方法把自己的 harness 跑一遍，而不是直接采信任何一家的自评。 常见问题： 问：LobeHub 是什么？ 答：开源的 AI 协作平台，2023 年以 LobeChat 起家，2026 年 1 月升级为 LobeHub 2.0，5 月推出 CAO 编排能力。 问：LobeHub 的 70% 通过率能在公开榜单上查到吗？ 答：查不到。FrontierHarness Eval 的公开结果表有 12 种配置，没有 LobeHub，这一数字来自 LobeHub 方面的说法。 参考来源： 量子位：AI 接管一家 8 万 Star 开源公司，写代码、派任务、查 Bug 全包了 https://www.qbitai.com/2026/11/508607.html 新浪财经转载量子位原文（2026 年 11 月 8 日 22:32） https://finance.sina.com.cn/wm/2026-11-08/doc-inixzxss7036201.shtml 网易号转载量子位原文（2026 年 11 月 9 日 13:42） https://www.163.com/dy/article/LBA1KHG50511DSSR.html FrontierHarness Eval 公开榜单（9 个 harness、12 种配置） https://frontierharness.org FrontierHarness Eval 公开仓库（评测定义、任务与结果表） https://github.com/frontier-harness-eval/eval 阿里云开发者社区：在阿里云 ECS 上复跑一套 harness 评测（评测设计与成本口径） https://developer.aliyun.com/article/1780484 GitHub：lobehub/lobehub 仓库（星标数与项目自述） https://github.com/lobehub/lobehub