2026 年 11 月 16 日——美国西北大学与 Google Cloud AI Research 的联合团队于 2026 年 10 月 9 日向 arXiv 提交论文《Harness2: Recursive Agent Harnessing for an Open World》(编号 2610.14224),提出一种双层递归的智能体运行框架自我改进方法。该方法保持模型权重不变,由编辑器根据试运行证据修改提示词、长期记忆、技能、脚本、工具说明与子智能体等 harness 组件,在没有标准答案的新任务上迭代。实验中,GLM-5 在 WorkBuddy-Bench 上的平均得分从 64.2% 升至 75.7%,提升 11.5 个百分点。
论文将 harness 定义为围绕模型、使其能够作为智能体运行的软件层,包括系统提示词、安全护栏、长期记忆、技能、工具说明、脚本、子智能体和中间件插件 8 个可编辑组件。模型与 harness 组合成智能体,模型参数全程冻结。
两级递归与无真值迭代
现有 harness 自动优化多在固定训练任务上离线搜索,部署后遇到新任务往往难以泛化。Harness2 面向开放世界任务流:任务在 harness 设计阶段不可见,执行时没有真值标签或可靠验证器。
第一级是任务级递归,核心是 Propose–Probe–Compose 对比步骤。Propose 阶段提出两个候选 harness,一个针对规划、工具使用、上下文管理、任务委派等跨领域缺陷,另一个补充当前领域的知识、流程与约束。Probe 阶段在相同模型和环境配置下把候选跑在同一任务上,与参考执行对比轨迹和交付物,只观察行为差异,不判断交付物是否正确。Compose 阶段读取参考执行、候选 harness、组件差异和执行证据,选择合并、修订、采纳单个候选或保留原 harness,每个决定都对应具体观察。并行递归同时探索 k 个候选,顺序递归串联 k 个改进步骤;k=1 时退化为一次对比步骤。
第二级是 harness 级递归。每个任务结束后,系统复盘改进记录,把被采纳的 harness 和有执行证据支持的教训写入改进库,每条记录包含一个可执行 harness 与一份 EXPERIENCE.md,说明适用场景、经验与证据。下一个任务仍从公共初始 harness 开始,但提案与组合由更新后的改进 harness 引导。论文强调,模型权重、阶段指令与决策规则保持不变,持续演化的只有改进库。
编辑器默认由 Claude Opus 4.8 在 OpenCode 下担任,负责提出与组合改动;论文也测试了执行模型自己担任编辑器的设置。
实验数据
WorkBuddy-Bench 覆盖 Code、Web、Office 三个域,测试集分别为 40、35、25 题,共 100 题。表中为三域宏平均,取自三次运行,每轮任务顺序打乱。
| 模型与初始 harness | 单步改进前 | 单步改进后 | 变化 |
|---|---|---|---|
| GLM-5 + OpenCode | 64.2% | 75.7% | +11.5 |
| GLM-5 + Codex | 64.4% | 75.3% | +10.9 |
| Gemini 3.5 Flash + OpenCode | 72.4% | 77.5% | +5.1 |
| Gemini 3.5 Flash + Codex | 74.5% | 77.5% | +3.0 |
GLM-5 在 OpenCode 下的分域得分从 Code 58.4%、Web 59.2%、Office 75.1% 分别升至 77.1%、69.1%、80.8%。在 JobBench 的 34 道测试题上,GLM-5 从 20.6 升至 24.2,Gemini 3.5 Flash 从 31.5 升至 36.0。在 Harvey 法律智能体基准 LAB 的 100 题留出集上,GLM-5 的 Partial 通过率从 59.6% 升至 71.4%,提升 11.8 个百分点;Gemini 3.5 Flash 从 79.9% 升至 81.9%。
把并行递归预算从 k=1 提到 k=5,WorkBuddy-Bench、JobBench 和 LAB 还可分别再提升最多 3.9、4.2 和 6.7 个百分点。消融结果显示,去掉改进库、编辑器角色分工或组合步骤,WorkBuddy-Bench 分别下降 3.1、2.9、1.6 分,JobBench 分别下降 1.8、3.7、1.9 分。
不依赖更强的编辑器
为验证增益是否依赖更强的编辑器,论文让同一模型同时担任执行器与编辑器,在 k=2 下测试五个模型。结果显示,从 GLM-5 到 Claude Opus 5 的五个模型在所有基准上均有提升,其中 GLM-5 在 LAB 上提升 13.7 个百分点,Claude Opus 5 在 WorkBuddy-Bench、JobBench、LAB 上分别提升 3.3、5.5、3.0 分。论文据此表示,harness 改进不要求编辑器比执行器更强。
代价方面,Harness2 需要额外的执行与编辑器调用,递归预算越大,推理成本越高。论文称其评估的 Harness2 配置位于经验帕累托前沿;以 Gemini 3.5 Flash + OpenCode 为例,k 从 1 提到 5 后,JobBench 增益从 4.5 分升至 7.5 分、WorkBuddy-Bench 从 5.1 分升至 8.4 分,但总 token 消耗同步增加。
限制与获取
论文在附录中列出两项限制:递归改进需要额外的执行与编辑开销;无真值监督时,改进依赖行为对比与模型判断,这些信号受执行随机性和模型共同偏差影响,不能保证正确性,也不能保证改动迁移到其他任务。改进库目前只是带索引的简单库,如何压缩重叠组件、更新过期经验仍是后续工作。
论文为 arXiv 预印本(v1)。代码已在 GitHub 公开,支持 OpenCode 与 Codex 两种执行 harness,以及 JobBench、LAB、WorkBuddy-Bench 三个基准。
| 资产 | 地址 |
|---|---|
| 论文 | arxiv.org/abs/2610.14224 |
| 代码 | github.com/google-research/harness2 |
| 项目页 | harness2.github.io |
评论