HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses
作者: Luan Zhang, Ruochen Zhou, Dandan Song, Zhengyu Chen, Yuhang Tian, Jun Yang, Huipeng Ma, Chenhao Li, Guangyuan Feng, Xudong Li, Yizhou Jin, Yan Xu
分类: cs.LG, cs.CL
发布日期: 2026-08-03
💡 一句话要点
提出HarnessCompass以解决自动化工具演化中的过拟合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化工具演化 智能体性能 大型语言模型 全局约束 主动反馈 组件优化 泛化能力 演化效率
📋 核心要点
- 现有的自动化工具演化方法容易过拟合于特定任务，且优化过程中的组件间相互干扰显著影响性能。
- HarnessCompass通过施加全局约束、引入主动反馈和解耦组件优化，旨在提高工具的通用性和演化效率。
- 在SWE-bench上，HarnessCompass在5次演化迭代中将Pass@1提升至66%，并在其他任务上表现出更强的泛化能力。
📝 摘要（中文）
工具设计在智能体性能中起着关键作用，影响大型语言模型（LLMs）在可执行环境中的感知、推理和行动。现有的自动化工具演化方法往往过拟合于特定任务，依赖于轨迹导出的信号，并且组件优化相互干扰。本文提出HarnessCompass，一个基于约束演化、主动反馈和组件优化的自动化工具演化框架。该框架通过施加全局约束、增强轨迹信号和解耦组件优化，显著提高了工具的通用性和有效性。在SWE-bench上，HarnessCompass在仅5次演化迭代中将Pass@1从54%提升至66%，并在转移到其他任务和模型时表现出更强的泛化能力。
🔬 方法详解
问题定义：本文旨在解决现有自动化工具演化方法的过拟合问题，现有方法依赖于轨迹信号且组件优化相互干扰，导致性能下降。
核心思路：HarnessCompass的核心思路是通过施加全局约束和引入主动反馈来增强工具的通用性，同时解耦组件优化以减少干扰。
技术框架：该框架包含三个主要模块：全局约束模块、主动反馈模块和组件优化模块。全局约束模块确保演化过程中的修改是任务无关的；主动反馈模块从智能体获取使用反馈；组件优化模块则独立优化各个组件。
关键创新：HarnessCompass的主要创新在于其约束演化和主动反馈机制，这与现有方法的轨迹信号依赖和组件联合优化形成鲜明对比，显著提高了演化效率和效果。
关键设计：在设计中，采用了全局约束来限制演化范围，使用主动反馈增强信号的丰富性，并通过解耦优化减少组件间的相互干扰，确保各组件能够独立发挥作用。
🖼️ 关键图片
📊 实验亮点
在SWE-bench上，HarnessCompass在仅5次演化迭代中将Pass@1从54%提升至66%，显著优于现有的自动化工具演化方法AHE，展示了更高的有效性和演化效率。此外，演化后的工具在转移到其他任务和模型时表现出更强的泛化能力。
🎯 应用场景
HarnessCompass的研究成果在智能体控制、自动化决策和机器人技术等领域具有广泛的应用潜力。通过提高工具的通用性和有效性，该框架能够帮助开发更智能的系统，适应多种复杂环境，提升智能体的整体表现。未来，该方法可能推动更高效的自动化工具设计和演化策略的研究。
📄 摘要（原文）
Harness design plays a critical role in agent performance by shaping how large language models (LLMs) perceive, reason over, and act within executable environments. Recent work has proposed automatic harness evolution, which iteratively improves the harness from agent--environment interactions. However, existing methods often overfit to the evolution tasks, rely exclusively on trajectory-derived signals, and optimize harness components jointly, causing interference across components. We propose HarnessCompass, a novel automatic harness evolution framework built around constrained evolution, proactive feedback, and component-wise optimization. HarnessCompass first enforces global constraints on evolution, restricting modifications to task-agnostic harness changes that generalize beyond the evolution tasks. It then augments trajectory-derived evidence with proactive first-person feedback from the agent about harness usage, yielding richer signals for evolution. Finally, it decouples the optimization of different harness components before consolidating them into a unified harness, reducing cross-component interference while preserving component synergy. On SWE-bench Verified with GPT-5.4, HarnessCompass improves Pass@1 from 54\% to 66\% in only 5 evolution iterations, outperforming AHE in both effectiveness and evolution efficiency. In addition, the evolved harness transfers effectively to held-out tasks and other models, demonstrating substantially stronger generalization than prior automatic harness evolution methods.