Memento 3冻结LLM通关25游戏 操作比人类少56%

2026年10月9日，伦敦大学学院（UCL）与华为诺亚方舟实验室（Noah's Ark Lab）联合发布论文《Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks》（arXiv: 2610.11794）。Memento 3 在 ARC-AGI-3 这一"AI五年来最难啃"的抽象推理基准上实现了全部 25 款公开游戏、183 个关卡的 100% 通关，平均相对人类操作效率（RHAE）拿到满分 100.0，而总共仅消耗 7,518 次操作——只相当于人类操作基线（17,135 次）的 44%，比人类少 56%。整套方案完全基于"冻结（frozen）LLM + 自然语言规则本 + 可执行 Python 世界模型"实现，模型权重全程不被修改，仅通过外部记忆实现递归自我改进（RSI）。作为对比，Anthropic Claude Opus 5 在同一基准上仅拿到 40.7 RHAE，比 Memento 3 低 59.3 分。这套"把 LLM 当作元程序员、写规则并自动编译验证"的范式，为可自我验证的具身智能体、自动科学发现、私有系统逆向工程打开了一条不依赖参数微调的新路径。 ## 核心要点：观察—反思—修订—编译—验证 五段式闭环 Memento 3 的核心贡献来自一项根本性观察：**AI 智能体不应在陌生环境里反复试错，而应该像人一样，先把环境规则"记下来"，再据此做预测和规划。** 为此，团队提出了一套"观察—反思—修订—编译—验证"的持续闭环： **第一，把环境假设写成可读的自然语言规则本。** 智能体维护一份 Markdown 格式的"规则本（rulebook）"，记录它对环境动力学、物理机制和成功标准的可修订假设；未知部分则明确标记为待定。规则本是外部语义记忆，不会随会话丢失，也不需要重新训练。 **第二，把规则本编译成 Python 代码世界模型用于预测与规划。** 智能体每次规划下一步动作时，把规则本编译成可执行的 Python 状态转移函数，由低延迟模拟器反复推演"如果走这一步会怎样"，从而选择最有希望的路径，而不是靠 LLM 一步步生成长思维链（CoT）。 **第三，通过预测误差驱动规则迭代。** 当模拟预测与真实观察不一致时，触发反思机制生成候选修订；修订必须同时通过两道闸门：(a) 由 LLM 做语义对齐审计，确保新规则逻辑上忠于原意；(b) cell-exact 重放验证，把过去每一帧的状态都重新跑一遍，看修订后的代码能否完美复现历史轨迹。两道闸门都通过的修订才会被合并进规则本。整个过程 LLM 参数完全冻结，能力增长全部来自"程序合成 + 验证"。 **第四，支持多模型种群的并行探索。** 系统可扩展为多个并行的世界模型候选，互相共享交互证据，利用"认知分歧"主动选择最有信息量的探索动作。论文报告，在 ARC-AGI-3 单游戏 wa30 上，多模型种群版将操作数从 899 进一步压到 597（−33%），同时仍保持 RHAE 满分。 ## 基准成绩 **ARC-AGI-3：满分通关。** 在 25 款公开游戏、183 个关卡的完整测试集上，Memento 3 单模型版本拿到 100.0 RHAE（满分上限），7,518 次操作，人类基线是 17,135 次——即 Memento 3 用 44% 的人类动作预算完成全部关卡，操作数比人类少 56%。RHAE 同时衡量"能不能解出来"和"操作步骤有多精简"。作为对比，Claude Opus 5 在同一基准上的均分只有 40.7 RHAE，比 Memento 3 低 59.3 分——纯靠 LLM 直推的传统路线在该基准上仍存在巨大鸿沟。 **Atari Pong：21:0 完胜，零推理调用。** 在经典 Atari Pong 案例中，Memento 3 学到一个可执行的反馈控制器，用 9,504 帧模拟数据训练，在三局不同开局下均以 21:0 零封对手，且执行期间不再调用任何 LLM 推理——完全靠编译好的 Python 控制器闭环运行。论文指出，这比 EfficientZero V2 等基于模型的强化学习基线（需要约 40 万帧）样本效率高约 42 倍。 **消融验证。** 团队对规则本本身做了消融：去掉规则本后，动作数增加约 9%，智能体决策轮次增加约 18%——证明"外部可读规则"本身就是性能增益的关键。 ## 技术意义 Memento 3 是 Memento 系列的第三代（前两代分别聚焦案例推理与经验回放），本次的关键升级是把"自我改进"从参数空间挪到了**外部记忆 + 代码合成**空间。直接在 LLM 权重上做持续微调成本极高，且会触发灾难性遗忘（catastrophic forgetting）；Memento 3 选择让 LLM 保持完全冻结，把"成长"全部押注在外部可执行的、可以被静态分析和重放验证的程序上——既绕开了遗忘问题，也让每一次能力升级都留下可审计、可回滚的痕迹。 这套思路把 LLM 的角色从"端到端控制器"重新定义为"元程序员（meta-programmer）"：LLM 的核心职责不再是每步生成动作，而是产出、维护并修订一份带语义对齐与确定性验证的代码世界模型。配合可执行模拟，推理时延趋近于零，并且能让代理在不确定环境下做多步前向搜索。 更广泛地看，这种"冻结 LLM + 外部可验证规则 + 程序合成"的范式与同期 NeurIPS/ICML 上的代码世界模型研究、AlphaEvolve、AlphaCode、Automated Scientific Discovery 等方向高度一致，但 Memento 3 第一次把"递归自我改进（RSI）"这条链路完整端到端地跑通在 ARC-AGI-3 这种公认高难度的通用推理基准上。 ## 行业影响 Memento 3 给业界带来三个层面的冲击： **对智能体研究：**"权重不变、记忆可变"是一种可扩展、低成本的持续学习路径，可能成为下一代企业级 Agent 的事实标准——企业可以在不重新训练基础模型的前提下，把特定领域的私有规则沉淀为可验证代码，让 Agent 在严格受控的场景下做长期自治。 **对 RL 与世界模型研究：** Pong 案例"42 倍样本效率"的提升，比 EfficientZero V2 等纯 RL 路线所需的训练数据少一个数量级，这意味着在真实机器人、自动驾驶等高样本成本领域，规则 + 代码世界模型可能比纯端到端 RL 更实用。 **对 ARC-AGI 竞赛与基准生态：** Memento 3 是首批在 ARC-AGI-3 公开集上拿到 100.0 RHAE 的方案之一，与之对照，OpenAI 此前披露 GPT-5.6 通过两个 API 设置就能在该基准上大幅提升表现，但距离满分仍有差距。Memento 3 的出现，意味着抽象推理"老大难"问题正在被"代码化外部记忆"这一思路撬开。 **对大模型路线之争：** Claude Opus 5 在该基准上 40.7 的得分与 Memento 3 的 100.0 形成强烈反差——再次印证了"未来 Agent 能力的关键不在基础模型本身，而在如何把基础模型用作元程序员来构造可验证的外部世界模型"。这条路线与 OpenAI Dots、Anthropic Claude Sonnet 的最新能力升级方向相互呼应。 ## 总结 "冻结 LLM + 外部规则 + 可验证代码"是 Memento 3 给出的递归自我改进（RSI）完整闭环。当 UCL + 华为诺亚方舟把抽象推理 ARC-AGI-3 的满分、Atari Pong 21:0 零封对手、以及 42 倍于 EfficientZero V2 的样本效率这三件事放在一起呈现时，AI 行业正在见证一条与"模型越大、Agent 越强"截然不同的进化路径——**让基础模型保持冻结，让能力增长发生在可审计、可回滚、可静态分析的外部程序上**。未来 12-24 个月，这条路线很可能成为企业级 Agent、具身智能和自动化科学发现的事实标准。 ## 参考来源 1. arXiv 论文原文：Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks（Haoyu Zhao、Zhengxu Yu 等，UCL + 华为诺亚方舟实验室 + 利物浦大学，2026-10-09）：https://arxiv.org/abs/2610.11794 2. arXiv HTML 完整版（含图表、Appendix、消融细节）：https://arxiv.org/html/2610.11794v1 3. HuggingFace Papers 论文索引（含作者完整名单、引用统计、相关论文）：https://huggingface.co/papers/2610.11794 4. AIWeekly 深度解析：Memento 3 Posts 100.0 RHAE on ARC-AGI-3 With Frozen LLM Rulebook（含 Claude Opus 5 基准对比、Pong 42× 样本效率、消融数据）：https://aiweekly.co/alerts/memento-3-posts-1000-rhae-on-arc-agi-3-with-frozen-llm-rulebook 5. AICoder 工程视角分析：Memento 3: UCL and Huawei Noah's Ark Enable Recursive Self-Improvement for Frozen LLMs via Reflective Rulebooks：https://aicoder.com/news/news-20261010-memento3-model-based-recursive-self-improvement-rulebooks 6. OnTheWire：UCL and Huawei Paper Reports a Frozen-Model Agent Clearing All 25 Public ARC-AGI Games：https://onthewire.ai/article/ucl-and-huawei-paper-reports-a-frozen-model-agent-clearing-all-25-public-arc-agi 7. 量子位（qbitai）：华为AI靠RSI通关25款游戏！操作次数比人类少56%（中文权威报道）：https://www.qbitai.com/2026/10/502654.html 8. 搜狐科技转载：华为AI Memento3：用56%更少的操作通关25款游戏的奇迹：https://m.sohu.com/a/1086655084_122004016 9. Hermes AI：UCL's Memento 3 Beats Human Efficiency by 56% on Every ARC-AGI-3 Puzzle：https://hermes-ai.net/news/ucl-s-memento-3-beats-human-efficiency-by-56-on-every-arc-agi-3-puzzle/ 10. The New Stack（基准背景）：Nvidia's AVO agent system lifted Claude Opus 5 from a 30% baseline to 100% on the ARC-AGI-3 reasoning benchmark：https://thenewstack.io/nvidia-avo-arcagi3-benchmark/ 11. TechTimes：ARC-AGI-3 Scaffolding Beats Model Upgrades：Same AI, Two Settings, 4.9× Score Gain（GPT-5.6 在 ARC-AGI-3 上的优化路径对比）：https://www.techtimes.com/articles/328542/20261006/arc-agi-3-scaffolding-beats-model-upgrades-same-ai-two-settings-49x-score-gain.htm 12. MLQ.ai：Claude Opus 5 Sets a Verified ARC-AGI-3 Record With Important Caveats：https://mlq.ai/news/claude-opus-5-sets-a-verified-arc-agi-3-record-with-important-caveats/ 13. ARC Prize 官方 ARC-AGI-3 基准页面（183 关卡、25 公开游戏、$850,000 奖金竞赛）：https://arcprize.org/arc-agi/3 14. BenchLM ARC-AGI-3 评测页（独立基准评测/排行榜）：https://benchlm.ai/benchmarks/arcagi3