Evo-Bench: Can Language Models Improve Agent Harness?
作者: Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang
分类: cs.CL
发布日期: 2026-08-10
💡 一句话要点
提出Evo-Bench以评估智能体自我优化能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自主智能体 评估基准 环境优化 辅助任务演化 敏感性分析 长时间迭代 模型泛化 性能提升
📋 核心要点
- 现有评估方法无法有效分离智能体的环境优化能力与基础模型性能，导致评估结果不准确。
- Evo-Bench通过辅助任务演化和敏感性意识的分层划分，系统性地评估智能体的自我优化能力。
- 实验结果显示，顶尖模型在Evo-Bench上取得了高达16.6分的绝对提升，接近人类工程基线。
📝 摘要（中文）
大型语言模型（LLMs）推动了自主智能体的快速发展，但现有评估方法局限于静态任务解决。本文提出Evo-Bench，旨在系统性地评估智能体自主优化其操作环境的能力。Evo-Bench采用新颖的环境引导构建框架，通过辅助任务演化识别对框架改进敏感的任务，并进行敏感性意识的分层划分，以确保跨任务的稳健泛化。广泛评估显示，顶尖模型在多个领域取得显著提升，接近人类工程基线，尤其在一般任务和搜索任务中表现优异，但在需要特定处理流程的办公室任务中表现较差。
🔬 方法详解
问题定义：本文旨在解决现有评估方法无法有效评估智能体自主优化环境能力的问题，现有方法未能隔离环境改进与基础模型性能，且难以捕捉长时间迭代研究的效果。
核心思路：Evo-Bench的核心思路是通过辅助任务演化来识别对环境改进敏感的任务，并采用敏感性意识的分层划分，确保评估的稳健性和泛化能力。
技术框架：Evo-Bench的整体架构包括任务识别、敏感性分析和评估模块。首先，通过辅助任务演化识别敏感任务，然后进行分层划分，最后进行跨任务评估。
关键创新：Evo-Bench的主要创新在于其环境引导构建框架，能够有效隔离智能体的环境优化能力与基础模型性能，提供更准确的评估结果。
关键设计：在设计上，Evo-Bench采用了敏感性分析方法，确保任务划分的合理性，并通过多轮实验验证了模型的泛化能力和稳定性。实验中使用了九个前沿和开放权重模型进行评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，顶尖模型在Evo-Bench上取得了高达16.6分的绝对提升，接近人类工程基线。自主演化在一般任务和搜索任务中表现优异，但在办公室任务中面临挑战，揭示了智能体在特定处理流程中的局限性。
🎯 应用场景
Evo-Bench的研究成果可广泛应用于自主智能体的开发与评估，尤其是在需要智能体自我优化能力的领域，如机器人、自动驾驶和智能助手等。通过提供准确的评估标准，Evo-Bench将推动智能体技术的进一步发展与应用。
📄 摘要（原文）
Large Language Models (LLMs) have driven rapid progress in autonomous agents, yet standard evaluations remain confined to static task solving. An emerging frontier is harness evolution---the agent's capacity to autonomously optimize its own operating harness. However, systematically benchmarking this capability remains challenging, as existing evaluations fail to isolate harness improvements from base model strength, prevent task-specific overfitting, or capture long-horizon iterative research. To address these challenges, we introduce Evo-Bench, the first benchmark designed to evaluate models' intrinsic harness-evolving capabilities across Search, Office, and General agent domains. To rigorously isolate this capability, Evo-Bench employs a novel harness-guided construction framework: it leverages auxiliary-task evolution to identify tasks genuinely sensitive to framework improvements, followed by sensitivity-aware stratified splitting to ensure robust cross-suite generalization. Extensive evaluations across nine frontier and open-weight models reveal that top models achieve massive absolute gains reaching 16.6 points, closely approaching state-of-the-art human-engineered baselines. Crucially, while autonomous evolution outpeforms artificial harness in General tasks and excels in Search tasks, it struggles in Office tasks that demand highly specific processing workflows. Furthermore, our analysis exposes critical temporal anomalies like early saturation, while demonstrating that the synthesized harnesses act as highly transferable reasoning structures, consistently boosting diverse policy models.