谷歌在递归自我改进(RSI)领域的最新成果现已开源。

该项目名为 Harness²,能够赋予大型模型在运行过程中自主调整外部代码、系统提示词、工具链及技能库的能力。

没错,这就是在Harness层面实现的RSI。

其性能表现相当惊人。

GLM-5在接入Harness²后,于办公基准测试WorkBuddy-Bench上,综合得分直接提升了11.5分。

瞬间超越了原生的Gemini 3.5 Flash。

整个过程无需更改模型权重,仅需优化其运行环境的外部框架。

这是一种极为强大的增强手段,任何模型套用后,其测试分数都能得到显著提升。

目前,该项目已完全开源,并已支持OpenCode与Codex。

为何「自我改进」频频失败

过去,业界为了让智能体变得更聪明,尝试了许多递归自我改进(RSI)的方法。

思路听起来很美好:让AI自己编写代码、修改提示词、优化系统。然而,一旦将其置于真实的开放环境中,这些尝试几乎都以失败告终。

原因何在?

主要卡在两个关键难题上:

缺乏标准答案。

在实验室里刷题,有单元测试,有标准答案来验证对错。但在真实的工作场景中,比如撰写一份商业计划书或审核一份法律合同,线上根本没有人给你打分。

AI自己修改了一版Prompt,它如何判断修改后是变得更聪明了,还是在胡编乱造?

过度拟合单一任务。

好不容易为了修复某个任务,对外部框架进行了一番改造,但下一个任务变成了编写爬虫程序,之前修改的规则反而成了累赘。

直接将修改后的框架套用到下一个任务上,系统很快就会陷入噪声螺旋,越改越笨。

谷歌团队此次提出的Harness²,正是专门针对这两个难题而设计的。

他们构建了一套双层递归架构。

双层递归:左手做实验,右手记笔记

Harness²名字中的「平方」,指的就是两层相互嵌套的递归循环:任务级递归和改进级递归。

第一层,任务级递归:在没有标准答案的情况下进行对照实验。

面对一个新任务,系统先使用初始框架运行一次,生成一条参考轨迹。这条结果是否正确暂时不论,关键在于观察模型在执行过程中暴露出了哪些缺陷。

紧接着,它启动了一套名为 Propose–Probe–Compose 的机制:

Propose(提议):

由专门的编辑角色,根据刚才的轨迹提出两套修改方案。

一套是「通用缺陷修补」,专门针对跨领域的通用问题,比如规划混乱、工具调用死循环、上下文爆炸;

另一套是「领域专属修补」,专门针对当前业务的特定知识和约束。

Probe(探测):

将这两套修改后的候选框架放回同一个任务中,分别运行一次。

没有裁判也没关系,系统会抓取它们的执行轨迹,并与参考轨迹进行行为对比。观察改动是否解决了之前卡住的步骤,是否引发了新的逻辑退化。

Compose(合成):

合成器将所有执行证据汇总,挑选出那些被行为证据证明有效的改动,将它们合并到最终的执行框架中。

这还没完。它还支持并行扩展,一次生成k组通用和领域候选方案,共2k个候选框架,并发探测后再进行k次独立合成,进一步拓宽搜索空间。

第二层,改进级递归:将修改框架的经验沉淀为元能力。

当前任务完成,交付物交出后,许多系统的生命周期就结束了。

但Harness²的真正厉害之处在于——

它将整个调试记录,包括参考轨迹、候选修改、对比证据、合成决策,全部交给反思模块。

反思模块复盘之后,会撰写一份EXPERIENCE.md文件,将这次为何这样修改、在什么条件下生效、带来了什么后果,清晰地存入持续改进经验库。

等到下一个新任务到来时:

执行端拿到的,依然是一个干净的基础框架。

但负责修改框架的那个「改进大脑」,手里已经掌握了厚重的历史经验手册。在提议和合成阶段,它能直接检索过往相似场景下的有效组件和避坑指南。

改进的不仅是眼前的框架,更是未来改进框架的能力。

这就把单次任务的临时修补,变成了终身学习的认知资产。

跑分实测

机制讲得再好,终究要用真实战场的数据说话。

团队直接使用了三个分量极重的硬核职业基准:

WorkBuddy-Bench:涵盖代码、网页、办公套件三大高难度办公工作流;

JobBench:长程端到端复杂专业岗位任务;

LAB:Harvey开源的顶级法律智能体基准。

基础模型选用了Gemini 3.5 Flash和GLM-5,执行框架则挑选了开源主流的OpenCode和Codex。

结果非常惊人。

在WorkBuddy-Bench测试中,仅进行单步Harness²改进($k=1$):

GLM-5在OpenCode下综合得分从64.2飙升至75.7,暴涨11.5分;在Codex下也从64.4飙升至75.3。

Gemini 3.5 Flash在OpenCode下从72.4提升至77.5,在Codex下从74.5提升至77.5。

从数据可以看出:

经过框架优化的GLM-5(75.7分 / 75.3分),直接击败了未优化框架的原版Gemini 3.5 Flash(72.4分 / 74.5分)。

在端到端岗位任务的JobBench上,单步改进同样带来了全面提升,Gemini 3.5 Flash上涨了4.5分,GLM-5上涨了3.6分;在法律基准LAB上,GLM-5的部分通过率直接提升了11.8个百分点。

如果将并行预算提升至 $k=5$(并发5路候选),性能还会进一步提升:WorkBuddy-Bench最高再涨3.9分,JobBench再涨4.2分,LAB通过率再涨6.7个百分点。

更令人惊叹的是经验库的跨领域迁移测试。

团队将JobBench上积累的经验库迁移到WorkBuddy-Bench,在不增加额外探测预算的情况下,辅助单步Harness改进,最终让代码、网页、办公三项得分分别再提高0.6分、0.5分和2.9分。

过去两年,大家对AI的期望几乎全部押注在「基础模型Scaling」上,总觉得只要等下一代GPT出来,手头的应用问题就迎刃而解了。

但现实给所有从业者泼了一盆冷水:基座模型越来越贵,边际效益在放缓,而落地场景里的长尾bug依然无穷无尽。

你给模型再大的上下文窗口,它在处理跨文件对账时依然会偷懒;你给它再高的跑分,它写完报告依然不会主动打开文件去校验格式。

这些东西,靠预训练参数是永远喂不饱的。

它需要的是一套能在运行中自我感知、自我修补、持续进化的Runtime认知工程。

以前我们搭框架,是工程师坐在电脑前一条一条手写Prompt、配工具、修管道,累得半死还到处漏风。

现在Harness²证明了一条新路:

把规则制定的权力,还给Agent自己。

论文作者

最后,照例说说论文作者。

一共9位,而且华人浓度极高,高达78%。

由于文章篇幅有限,这里按顺序介绍三位。

Ruiyao Xu,论文一作兼通讯作者。

美国西北大学统计与数据科学系博士生,导师为Kaize Ding。

主要研究方向包括大语言模型、图机器学习、异常检测及AI Agent系统。

这篇论文,便是他在谷歌实习期间的工作。

Yanfei Chen,Google Cloud AI Research资深研究工程师。

本科毕业于北京大学,主修电气工程与经济学,2018年获得美国匹兹堡大学工业工程博士学位。

此后曾在机器学习公司Qeexo担任研究工程师,2020年加入Google,参与过Vertex AI Search、Gemini Enterprise Deep Research等项目,主要研究大语言模型智能体、检索增强生成及工具学习。

Zhongying CuiZhu,也叫Zoey CuiZhu,Google Cloud AI Research研究工程师。

2019年获得斯坦福大学电气工程博士学位,主要研究通用智能体、可验证智能体及智能体质量评估。