Google RRSI：让 AI 智能体在冻结 LLM 上递归自改 harness 的开源框架

产品简介

RRSI（Regularized Recursive Self-Improvement of Agent Harnesses）是 Google Cloud AI Research 联合北卡罗来纳大学教堂山分校、斯坦福大学、华盛顿大学圣路易斯分校于 2026 年 9 月开源发布的 AI 智能体自改进框架。论文 arXiv 编号 2609.24972，代码以 Apache 2.0 协议开源在 google-research/rrsi 仓库，项目页 https://regularized-rsi.com。RRSI 让 AI 智能体在不修改底层模型权重的前提下，借助语言模型自动改写自身的 harness（提示词、控制流、工具调用、记忆管理、上下文调度），并通过正则化机制抑制对训练任务的过拟合，把"刷分"变成可解释、可审计的结构化搜索。

核心功能

• Harness 自动改写：智能体可对提示词、控制流、配置、上下文管理、工具、技能、记忆与子智能体等所有 harness 组件发起编辑，且编辑空间始终保持开放
• 退火编辑预算：早期轮次允许少量协同编辑发现机制，后期每轮只允许一次可归因的修改，避免单次提议塞入过多无关变更
• 证据感知信用记录：每个候选方案都附带组件类型、假设、diff、得分与成本变化的完整账本，提议者基于历史成功模式继续探索，不再重复已证伪的失败路径
• 泄露批判者：在评分之前由 critic 模块用规则 + LLM 双重过滤，剔除包含任务名、答案、套件专属逻辑等硬编码泄露的候选方案
• 噪声调整下限：得分提升必须超过基准 harness 自身的评估方差，杜绝噪声级别的小幅"刷分"
• 成本规则：新增推理 token 必须由实测收益买单，否则拒绝纳入；持续不贡献的组件自动进入剪枝集
• 结构化探索：进展停滞时预算自动重定向到从未触及的组件，保证搜索空间的覆盖度

特色优势

• 唯一跨基准稳定提升的方案：8 个基准测试中演化集平均 +4.0 分，6 个 OOD 基准平均 +3.4 分且全部提升；竞品在大样本上 OOD 增益往往消失甚至倒退
• 冻结 LLM 仍可进化：以 Claude Opus 4.8 作为冻结策略模型，不需要重新训练或微调底层模型
• 显著降低 token 消耗：相比无正则化进化方法，policy tokens per trial 减少约 36%
• 审计友好：每次编辑的假设、得分、成本变化与裁决都记录在 JSONL 历史中，可逐轮回放
• 三域通用：同一搜索循环驱动终端编码智能体（Terminal-Bench 2.1）、文档办公智能体（Harvey LAB）、工程设计智能体（EngDesign），各通过 Domain 适配器与起始 harness 复用

应用场景

• 代码生成 Agent：在 SWE-bench Verified、Terminal-Bench 2.1 等编码基准上稳定提升；RRSI 把 SWE-bench Verified 从 82.0 提升至 83.8（+1.8）
• 企业文档处理：在 Harvey LAB、JobBench 等办公场景下，模型裁判评分全面提升
• 工程设计任务：EngDesign 与 Frontier-Eng 等需要综合工程推理的任务同样受益
• Agent harness 研发：研究团队可在自己的领域把 RRSI 当成 Domain 适配器直接接入，无需从零写搜索循环
• LLM 能力评估：作为评测工具，衡量不同 harness 设计在跨基准泛化能力上的真实差异

适用人群

• Agent 工程师：正在搭建企业级 AI Agent 平台，需要让 harness 自进化又担心过拟合测试集的工程团队
• AI 研究员：研究 LLM agent 自动化、自改进、harness 优化的科研人员
• ML 平台团队：负责把 AI Agent 落地到编码、办公、设计等具体业务线，希望减少人工调参的平台架构师
• 学术合作者：对 RLHF / 自我博弈 / 递归自改进感兴趣的高年级研究生与博士生

出品方

Google Cloud AI Research（第一作者 Peng Xia，合作作者 Rujun Han、Zifeng Wang、Yanfei Chen、Yufan Zhuang、Yoonho Lee、Chengsong Huang、Han Yu、Zhongying CuiZhu、Yifei Ming、Huaxiu Yao、Burak Gokturk、Tomas Pfister、Chen-Yu Lee），同时与 UNC Chapel Hill、Stanford University、Washington University in St. Louis 三所高校合作完成。

更新动态

• 2026 年 10 月 1 日：RRSI 论文与代码正式在 arXiv 与 GitHub 开源
• 2026 年 9 月 21 日：项目页 regularized-rsi.com 上线，公布 8 基准结果
• 2026 年 9 月：The Decoder、Marvis AI Today、CryptoCortex 等英文 AI 媒体集中报道
• 2026 年 8 月：RRSI 在 Google Cloud AI Research 内部完成最后一轮实验验证

官方链接

• GitHub 仓库：https://github.com/google-research/rrsi
• 项目主页：https://regularized-rsi.com/
• arXiv 论文：https://arxiv.org/abs/2609.24972