谷歌在递归自我改进(RSI)领域的最新成果现已开源。
该项目名为 Harness²,能够赋予大型模型在运行过程中自主调整外部代码、系统提示词、工具链及技能库的能力。
没错,这就是在Harness层面实现的RSI。
其性能表现相当惊人。
GLM-5在接入Harness²后,于办公基准测试WorkBuddy-Bench上,综合得分直接提升了11.5分。
瞬间超越了原生的Gemini 3.5 Flash。
整个过程无需更改模型权重,仅需优化其运行环境的外部框架。
这是一种极为强大的增强手段,任何模型套用后,其测试分数都能得到显著提升。
目前,该项目已完全开源,并已支持OpenCode与Codex。
为何「自我改进」频频失败
过去,业界为了让智能体变得更聪明,尝试了许多递归自我改进(RSI)的方法。
思路听起来很美好:让AI自己编写代码、修改提示词、优化系统。然而,一旦将其置于真实的开放环境中,这些尝试几乎都以失败告终。
原因何在?
主要卡在两个关键难题上:
缺乏标准答案。
在实验室里刷题,有单元测试,有标准答案来验证对错。但在真实的工作场景中,比如撰写一份商业计划书或审核一份法律合同,线上根本没有人给你打分。
AI自己修改了一版Prompt,它如何判断修改后是变得更聪明了,还是在胡编乱造?
过度拟合单一任务。
好不容易为了修复某个任务,对外部框架进行了一番改造,但下一个任务变成了编写爬虫程序,之前修改的规则反而成了累赘。
直接将修改后的框架套用到下一个任务上,系统很快就会陷入噪声螺旋,越改越笨。
谷歌团队此次提出的Harness²,正是专门针对这两个难题而设计的。
他们构建了一套双层递归架构。
双层递归:左手做实验,右手记笔记
Harness²名字中的「平方」,指的就是两层相互嵌套的递归循环:任务级递归和改进级递归。
第一层,任务级递归:在没有标准答案的情况下进行对照实验。
面对一个新任务,系统先使用初始框架运行一次,生成一条参考轨迹。这条结果是否正确暂时不论,关键在于观察模型在执行过程中暴露出了哪些缺陷。
紧接着,它启动了一套名为 Propose–Probe–Compose 的机制:
Propose(提议):
由专门的编辑角色,根据刚才的轨迹提出两套修改方案。
一套是「通用缺陷修补」,专门针对跨领域的通用问题,比如规划混乱、工具调用死循环、上下文爆炸;
另一套是「领域专属修补」,专门针对当前业务的特定知识和约束。
Probe(探测):
将这两套修改后的候选框架放回同一个任务中,分别运行一次。
没有裁判也没关系,系统会抓取它们的执行轨迹,并与参考轨迹进行行为对比。观察改动是否解决了之前卡住的步骤,是否引发了新的逻辑退化。
Compose(合成):
合成器将所有执行证据汇总,挑选出那些被行为证据证明有效的改动,将它们合并到最终的执行框架中。
这还没完。它还支持并行扩展,一次生成k组通用和领域候选方案,共2k个候选框架,并发探测后再进行k次独立合成,进一步拓宽搜索空间。
第二层,改进级递归:将修改框架的经验沉淀为元能力。
当前任务完成,交付物交出后,许多系统的生命周期就结束了。
但Harness²的真正厉害之处在于——
它将整个调试记录,包括参考轨迹、候选修改、对比证据、合成决策,全部交给反思模块。
反思模块复盘之后,会撰写一份EXPERIENCE.md文件,将这次为何这样修改、在什么条件下生效、带来了什么后果,清晰地存入持续改进经验库。
等到下一个新任务到来时:
执行端拿到的,依然是一个干净的基础框架。
但负责修改框架的那个「改进大脑」,手里已经掌握了厚重的历史经验手册。在提议和合成阶段,它能直接检索过往相似场景下的有效组件和避坑指南。
改进的不仅是眼前的框架,更是未来改进框架的能力。
这就把单次任务的临时修补,变成了终身学习的认知资产。
跑分实测
机制讲得再好,终究要用真实战场的数据说话。
团队直接使用了三个分量极重的硬核职业基准:
WorkBuddy-Bench:涵盖代码、网页、办公套件三大高难度办公工作流;
JobBench:长程端到端复杂专业岗位任务;
LAB:Harvey开源的顶级法律智能体基准。
基础模型选用了Gemini 3.5 Flash和GLM-5,执行框架则挑选了开源主流的OpenCode和Codex。
结果非常惊人。
在WorkBuddy-Bench测试中,仅进行单步Harness²改进($k=1$):
GLM-5在OpenCode下综合得分从64.2飙升至75.7,暴涨11.5分;在Codex下也从64.4飙升至75.3。
Gemini 3.5 Flash在OpenCode下从72.4提升至77.5,在Codex下从74.5提升至77.5。
从数据可以看出:
经过框架优化的GLM-5(75.7分 / 75.3分),直接击败了未优化框架的原版Gemini 3.5 Flash(72.4分 / 74.5分)。
在端到端岗位任务的JobBench上,单步改进同样带来了全面提升,Gemini 3.5 Flash上涨了4.5分,GLM-5上涨了3.6分;在法律基准LAB上,GLM-5的部分通过率直接提升了11.8个百分点。
如果将并行预算提升至 $k=5$(并发5路候选),性能还会进一步提升:WorkBuddy-Bench最高再涨3.9分,JobBench再涨4.2分,LAB通过率再涨6.7个百分点。
更令人惊叹的是经验库的跨领域迁移测试。
团队将JobBench上积累的经验库迁移到WorkBuddy-Bench,在不增加额外探测预算的情况下,辅助单步Harness改进,最终让代码、网页、办公三项得分分别再提高0.6分、0.5分和2.9分。
过去两年,大家对AI的期望几乎全部押注在「基础模型Scaling」上,总觉得只要等下一代GPT出来,手头的应用问题就迎刃而解了。
但现实给所有从业者泼了一盆冷水:基座模型越来越贵,边际效益在放缓,而落地场景里的长尾bug依然无穷无尽。
你给模型再大的上下文窗口,它在处理跨文件对账时依然会偷懒;你给它再高的跑分,它写完报告依然不会主动打开文件去校验格式。
这些东西,靠预训练参数是永远喂不饱的。
它需要的是一套能在运行中自我感知、自我修补、持续进化的Runtime认知工程。
以前我们搭框架,是工程师坐在电脑前一条一条手写Prompt、配工具、修管道,累得半死还到处漏风。
现在Harness²证明了一条新路:
把规则制定的权力,还给Agent自己。
论文作者
最后,照例说说论文作者。
一共9位,而且华人浓度极高,高达78%。
由于文章篇幅有限,这里按顺序介绍三位。
Ruiyao Xu,论文一作兼通讯作者。
美国西北大学统计与数据科学系博士生,导师为Kaize Ding。
主要研究方向包括大语言模型、图机器学习、异常检测及AI Agent系统。
这篇论文,便是他在谷歌实习期间的工作。
Yanfei Chen,Google Cloud AI Research资深研究工程师。
本科毕业于北京大学,主修电气工程与经济学,2018年获得美国匹兹堡大学工业工程博士学位。
此后曾在机器学习公司Qeexo担任研究工程师,2020年加入Google,参与过Vertex AI Search、Gemini Enterprise Deep Research等项目,主要研究大语言模型智能体、检索增强生成及工具学习。
Zhongying CuiZhu,也叫Zoey CuiZhu,Google Cloud AI Research研究工程师。
2019年获得斯坦福大学电气工程博士学位,主要研究通用智能体、可验证智能体及智能体质量评估。
John Martin 回复 2014年1月15日
围绕多终端无缝适配,网页版入口一键直达,操作流畅无延迟,九游娱乐平台持续打磨更优质的服务。
John Martin 回复 2014年1月15日
九游娱乐平台深耕严格的数据加密与风控体系,保障用户账户与资金安全领域,用心服务每一位用户。
John Martin 回复 2014年1月15日
在7×18小时在线客服团队,快速响应各类咨询与需求方面,九游娱乐平台提供贴心周到的支持。
John Martin 回复 2014年1月15日
九游娱乐平台以九游娱乐平台为核心,带来高效便捷的体验。
John Martin 回复 2014年1月15日
想了解更多九游在线相关内容,尽在九游娱乐平台。
John Martin 回复 2014年1月15日
九游娱乐平台围绕九游网页版入口不断创新,回应用户的真实需求。