CoHARL: Co-Evolving Agent Policies and Executable Harnesses with Reinforcement Learning

📄 arXiv: 2610.36469v1 📥 PDF

作者: Jianwen Chen, Peng Xia, Kaide Zeng, Siwei Han, Zhen-Yu Zhang, Charles Fleming, Xinyu Ye, Huaxiu Yao

分类: cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出CoHARL框架以优化强化学习中的策略与执行工具的协同演化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可执行工具架构 策略优化 软件工程 动态调整 智能系统 自动化工具

📋 核心要点

  1. 现有方法在固定策略下优化工具架构，未能适应学习过程中策略行为的变化，导致效率低下。
  2. CoHARL框架通过共同演化共享策略和可执行工具架构，动态调整工具架构以适应策略学习的变化。
  3. 实验结果表明，CoHARL在多个基准测试中表现优异，尤其在SWE-rebench上提升了6.4个百分点，显示出显著的性能改进。

📝 摘要（中文）

大型语言模型（LLM）代理通过可执行的工具架构与环境进行交互。固定策略下优化工具架构忽视了学习过程中行为的变化，而在固定工具架构下训练策略则使得生成训练经验的接口保持不变。这促使我们在策略训练过程中不断调整工具架构。我们提出了CoHARL，一个基于种群的强化学习框架，能够共同演化共享策略和可执行工具架构。该策略通过在种群中的回放学习，而提议者则利用执行轨迹在训练过程中修订工具架构代码。CoHARL在SWE-rebench上实现了27.6%的平均解决率，比仅使用工具架构的搜索提高了6.4个百分点。在SWE-bench Verified和Terminal-Bench 2.0上的实验显示了在软件工程和终端任务中的显著提升。

🔬 方法详解

问题定义：本论文旨在解决在强化学习中固定策略与工具架构之间的适应性不足问题。现有方法往往忽视了策略学习过程中工具架构的动态变化，导致训练效率低下。

核心思路：CoHARL框架的核心思想是通过共同演化共享策略和可执行工具架构，使得工具架构能够在策略训练过程中动态调整，从而提高学习效率和效果。

技术框架：CoHARL的整体架构包括两个主要模块：共享策略模块和工具架构提议者模块。共享策略模块负责从种群中进行回放学习，而提议者模块则利用执行轨迹对工具架构进行修订。

关键创新：CoHARL的主要创新在于其种群基础的共同演化机制，使得策略和工具架构能够相互影响并优化。这与传统方法的固定策略和工具架构设计形成了本质区别。

关键设计：在设计上，CoHARL采用了特定的损失函数来平衡策略学习与工具架构修订的关系，同时在网络结构上实现了模块化设计，以便于不同策略和工具架构的灵活组合。

🖼️ 关键图片

fig_0

📊 实验亮点

CoHARL在SWE-rebench上实现了27.6%的平均解决率，相较于仅使用工具架构的搜索提高了6.4个百分点。此外，在SWE-bench Verified和Terminal-Bench 2.0的实验中，CoHARL在软件工程和终端任务中均显示出显著的性能提升，证明了其有效性。

🎯 应用场景

CoHARL框架在软件工程和终端任务中具有广泛的应用潜力。其动态调整工具架构的能力可以提升自动化工具的效率，进而推动智能系统在复杂环境中的应用，如自动化编程、智能助手等领域。未来，CoHARL可能在更多领域中实现更高效的学习与适应。

📄 摘要（原文）

Large language model (LLM) agents interact with their environments through executable harnesses that govern tool use and feedback. Optimizing a harness for a fixed policy overlooks how its behavior changes during learning, while training a policy under a fixed harness leaves the interface that generates its training experience unchanged. This motivates adapting the harness throughout policy training. We introduce CoHARL, a population-based reinforcement learning framework that co-evolves a shared policy and a population of executable harnesses. The policy learns from rollouts across the population, and a proposer uses its execution traces to revise harness code during training. CoHARL achieves a 27.6% mean resolved rate on SWE-rebench, improving over harness-only search by 6.4 percentage points. Experiments on SWE-bench Verified and Terminal-Bench 2.0 show gains in software engineering and terminal-based tasks. Under matched training budgets, CoHARL also outperforms searching for a harness once before RL and alternating policy updates with revisions to a single active harness.