5个Qwen3.8-27B组队 基准反超Fable 5

时间：2026年11月1日06时46分（北京时间），GitHub 用户 guregodevo 在 Hacker News 放出复现结果。他把 GVS5H 这套多智能体编码方法整体搬进自己写的命令行智能体 Memdoor，用五个 Qwen3.8-27B 实例组队，在 LiveCodeBench Hard 前十题上跑出五轮平均 9.8 分。 地点：线上协作，代码与全部运行记录在 GitHub，评测题取自 LiveCodeBench Hard 的 Hard 子集；模型调用走 OpenRouter 分发的主机，其中 Modal 承载 203 次、Wafer 承载 115 次、CoreWeave 承载 27 次；原始方法的论文发布在 arXiv。 人物：复现者 guregodevo，Memdoor 作者；被复现的 GVS5H 由 Persis Capital Inc. Research Lab 推出，论文署名 Lee；参评模型是阿里通义千问 Qwen3.8-27B 与 Anthropic 的 Claude Fable 5。 事件详情：Memdoor 的 team-solve 工作流设五个角色（planner、两个 ideator、solver、manager）外加一名 repair worker，每个角色都从全新上下文出发，只通过磁盘上的文件通信；算不算解出由 shell 脚本跑样例判定，不由模型自己说了算。复现用的是原作者的原始提示词、128K 回复上限、temperature（计划 0.3、构思 0.4、manager 与 worker 0.2）、top_p 0.95、top_k 20 和最多十轮，仓库里的 lib/test_parity.py 逐字节比对四条用例的请求，与原实现完全一致。成绩对照是：Memdoor 工作流五轮分别得 10、10、10、10、9，均值 9.8；原作者自己的 27B harness 得 9、10、10、9、10，均值 9.6；Fable 5 单次调用得 7、8、10、8、7，均值 8.0。全部 50 次运行的请求、回复、程序、grader 完整输出、每次成本与承载主机都公开在仓库的 bench/results/parity-5pass 目录，50 次里 49 次解出，合计 1530 万输出 token、花费 35.79 美元，算上被时钟截断、等待修复或暂停的 16 次尝试是 38.77 美元；单次运行模型耗时中位数 40 分钟、最长 4 小时，单次成本约 0.39 美元。与原方法唯一的实质差别在后端：原作者用自建 vLLM 的 FP8，复现走 OpenRouter，精度无从核对，期间还有三次运行中途换了主机。失败也写进了说明：第五轮 abc399_e 上 manager 造出一个期望值错误的反例，队伍据此重写的程序反而挂掉，隐藏测试只过 32 比 44；第四轮 arc196_c 与 arc196_d 出现已经通过全部隐藏测试的程序被后续轮次覆盖，这两次分别花了 3.44 美元和 4.24 美元，是最贵的两次运行。 背景：GVS5H 全称 Gorilla vs 5 Humans，由 Persis Capital Inc. Research Lab 提出，论文见 arXiv:2608.26480，2026年10月25日登上 Hacker News 首页第一。它给的是一种不需要训练的「账本式零样本自编排」：同一个模型开出多个全新实例，彼此通过一个共享文件系统协调，文件里放着计划、笔记和当前解法。论文口径是在 LiveCodeBench Hard 最新的 100 道难题上评测 11 个开源与闭源模型，在固定后端上最多提升 25.6 个百分点；其中编排后的 Qwen3.8 Flash Next 达到 93.0% 的 pass@1，高于 Fable 5 的 90.4%，成本只要 9%；本地部署的开源权重 Qwen3.8-27B 从 66.8% 升到 92.4%。论文也写明收益并不普遍，部分模型不变甚至更差。Memdoor 本身是 guregodevo 几个月前写的 headless 优先编码与自动化智能体，单个 Go 静态二进制，Apache 2.0 许可，自带密钥，工作流步骤用 YAML 定义，也能接 Ollama、llama.cpp、vLLM、LM Studio 等本地运行时。 影响：这次的意义首先在「独立复现」四个字：结论来自第三方跑出来，不是原作者自己说的，而且 50 次运行的原始记录全部摊开可查。边界同样要说清——只跑了 10 道题而不是原作者的 100 道；题目是 2025 年 3 月 29 日到 4 月 6 日的竞赛题，模型可能见过，污染无法排除；Fable 5 那一列取自原作者仓库里的单次调用结果，并没有在这套 harness 里重跑；循环只看得见公开样例，分数是隐藏测试打的。对国内开发者，它的可复制性落在成本上：五个 27B 级模型组队跑完 50 次一共 35.79 美元，单次约 0.39 美元，而 Memdoor 支持直接接本机模型，代码可以不出机器。它同时给「多智能体」提了个醒：这次失分恰恰出在 manager 编造伪反例、以及已通过的解被后续轮次覆盖这两类工程问题上，多智能体的收益取决于 harness 的细节，不是把模型数量堆出来就有。 总结：这是一次小而硬的技术新闻。方法先由 Persis Capital 的研究实验室给出，用五个 Qwen3.8-27B 让账本式自编排对上 Fable 5；这次独立团队把同一套提示词与循环搬进自己的开源智能体，在小样本上拿到 9.8 分，比原作者的 9.6 略高，比 Fable 5 单次调用的 8.0 高出近两分。对多数读者更实用的信息是成本结构：35.79 美元、1530 万输出 token、每题 0.39 美元，外加一个能接本地模型的 Apache 2.0 工具。同时别把 9.8 当成定论——十道题、可能存在污染、中途换过主机、失败样本一并公开，这些限定条件本身就是这份复现最有价值的部分。 常见问题： 问：LiveCodeBench 是什么？ 答：测模型编程能力的竞赛题基准，这次取的是其中的 Hard 子集，复现只跑了原方法 100 题里的前 10 题。 问：五个 27B 怎么超过顶级闭源模型？ 答：靠分工与编排，每个角色独立上下文、只靠磁盘文件沟通，判分交给 shell 脚本，复现用的是原作者的原始提示词与循环。 参考来源： Memdoor 仓库首页：仓库 README 给出「五个 Qwen3.8-27B 智能体在 LiveCodeBench Hard 上超过 Fable 5」的结论 https://github.com/guregodevo/memdoor team-solve 工作流说明与全部 50 次运行记录：五轮对照表、1530 万 token 与 35.79 美元成本、失败样本分析 https://github.com/guregodevo/memdoor/tree/main/examples/workflows/team-solve Hacker News 讨论帖：作者贴出复现结果与逐轮分数 https://news.ycombinator.com/item?id=50320995 GVS5H 原始仓库：Gorilla vs 5 Humans，五个 Qwen3.8-27B 对上 Claude Fable 5 的原始方法与评分文件 https://github.com/slee-persis/GVS5H 论文摘要页：账本式零样本自编排，93.0% 对 90.4%、本地 Qwen3.8-27B 从 66.8% 到 92.4% https://arxiv.org/abs/2608.26480 Hacker News 原始方法讨论帖：2026 年 10 月 25 日登上首页第一 https://news.ycombinator.com/item?id=50228167 AI Daily 英文版报道：五轮平均 9.8 对 8.0 的第三方复现汇总 https://aidaily.fyi/en/a/five-qwen3-8-27b-models-beat-fable-5-on-livecodebench-hard-261101 Memdoor 项目官网与文档：单个二进制、YAML 工作流与本地运行时接入方式 https://memdoor.ai