An End-to-End Agent Auditing Engine

📄 arXiv: 2608.07346v1 📥 PDF

作者: Haoning Wang, Mingxun Zhang, Chenyue Yu, Yingjun Shang, Xia Hu, Guanchu Wang, Na Zou

分类: cs.AI

发布日期: 2026-08-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出A^2E以解决代理评估体系构建挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代理评估 大型语言模型 系统化评估 自动监控 多维度指标

📋 核心要点

  1. 现有的代理评估方法缺乏系统性和全面性，难以有效比较不同代理的能力。
  2. A^2E引入了代理任务协议（ATP），实现了评估任务与代理的快速集成，并通过自动监控生成标准化执行轨迹。
  3. 实验结果显示，不同模型与代理组合在任务表现上存在显著差异，强调了系统评估的重要性和指导意义。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，代理的基础设施变得至关重要。然而，构建一个系统化、全面的评估管道仍然是一个重大挑战。为此，本文提出了A^2E（代理审计引擎），该引擎利用新提出的代理任务协议（ATP）快速集成不同的评估任务。通过自动化监控，A^2E在实验中捕获并生成标准化的执行轨迹。在评估阶段，A^2E使用多维度指标系统地评估代理的能力，提供比单一正确性更细致的执行效率、工具使用、任务规划和错误恢复的特征。实验表明，不同模型与代理组合在不同任务中表现出显著的性能差异，强调了系统评估的必要性。

🔬 方法详解

问题定义：本文旨在解决现有代理评估体系缺乏系统性和全面性的问题，导致不同代理能力比较困难。

核心思路：提出A^2E引擎，通过代理任务协议（ATP）实现评估任务的快速集成，提升评估效率和准确性。

技术框架：A^2E的整体架构包括任务集成模块、自动监控模块和评估模块。任务集成模块负责快速集成不同评估任务，自动监控模块捕获执行轨迹，评估模块则使用多维度指标进行系统评估。

关键创新：A^2E的核心创新在于引入了代理任务协议（ATP）和自动监控机制，使得评估过程更加标准化和系统化，与传统方法相比，能够更全面地评估代理的能力。

关键设计：在设计上，A^2E采用了多维度评估指标，涵盖执行效率、工具使用、任务规划和错误恢复等方面，确保评估结果的全面性和准确性。具体的参数设置和指标选择经过实验验证，确保其有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用A^2E进行评估时，不同模型与代理组合在不同任务中的性能差异显著，且没有单一组合在所有任务中表现最佳。这一发现强调了系统评估的必要性，并为模型与代理的协同发展提供了指导。

🎯 应用场景

A^2E引擎在多个领域具有广泛的应用潜力，包括智能客服、自动化办公和机器人控制等。通过提供系统化的评估手段，A^2E能够帮助开发者优化代理模型与基础设施的协同演进，从而提升实际应用的效率和可靠性。

📄 摘要（原文）

With the rapid advancement of large language models (LLMs), harnesses have become essential infrastructure for deploying agents across a wide range of domains. The fast-evolving harness ecosystem has also made rigorous capability evaluation increasingly important. However, efficiently building an end-to-end, systematic, and comprehensive evaluation pipeline remains a significant challenge. To address this challenge, we introduce $A^2E$ (Agent Auditing Engine), an end-to-end evaluation engine designed for agent harnesses. $A^2E$ leverages our newly proposed Agent Task Protocol (ATP) to enable the rapid integration of evaluation tasks with different harnesses. Through an automatically instrumented Monitor, it captures and generates standardized execution traces during experiments. In the Evaluation stage, $A^2E$ systematically assesses harness capabilities using a suite of multidimensional metrics. Compared with correctness alone, these metrics provide a more fine-grained characterization of differences among harnesses in execution efficiency, tool use, task planning, and error recovery. Experiments conducted with $A^2E$ further reveal that model-harness combinations exhibit substantial performance variation across different types of tasks, and that no single combination consistently outperforms all others across every task. These findings not only demonstrate the necessity of systematic evaluation but also provide useful guidance for the co-evolving of models and harnesses. Our code is available at https://github.com/datamllab/A2E.