AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments
作者: Zhiheng Xi, Dingwen Yang, Jiaqi Liu, Jixuan Huang, Honglin Guo, Baodai Huang, Tinggang Chen, Qi Zhang, Zhonghang Lu, Chenyu Liu, Jiajun Sun, Jiazheng Zhang, Dingwei Zhu, Xin Guo, Junzhe Wang, Zhihao Zhang, Yuming Yang, Junjie Ye, Minghe Gao, Dongrui Liu, Jiaming Ji, Guohao Li, Tao Gui, Qi Zhang, Xuanjing Huang
分类: cs.AI
发布日期: 2026-07-06
备注: Accepted as a main conference paper at ACL 2026
💡 一句话要点
提出AgentGym2以解决现实环境中LLM代理评估不足的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言代理 评估框架 真实环境 工具发现 鲁棒性 任务组合 复杂性
📋 核心要点
- 现有评估方法在理想化环境中进行，未能真实反映代理在复杂环境中的表现。
- AgentGym2框架通过真实世界的任务实例，评估代理的执行、探索和组合能力。
- 实验结果显示，当前最先进的模型在AgentGym2上表现不佳，揭示了能力与实际需求之间的差距。
📝 摘要（中文）
语言代理（LLM代理）迅速发展并逐渐在生产环境中部署，这一趋势凸显了对严格且现实评估的迫切需求。然而，现有基准大多在简化的理想化环境中评估代理，忽视了关键步骤，并假设输入是干净且完全指定的。因此，它们低估了真实部署中的困难。为此，本文提出了AgentGym2，一个新的评估框架，基于真实世界的端到端工作需求，评估代理的执行能力、工具发现能力、任务组合能力以及对噪声和不完全信息的鲁棒性。实验表明，即使是最先进的系统如Gemini和GPT-5在AgentGym2上也面临挑战，揭示了当前代理能力与真实应用需求之间的显著差距。
🔬 方法详解
问题定义：本文旨在解决现有LLM代理评估方法在理想化环境中低估真实应用难度的问题。现有方法往往忽视环境的不确定性和噪声，导致评估结果不够可靠。
核心思路：AgentGym2通过设计基于真实世界的任务实例，评估代理在执行、探索和组合工具方面的能力，强调代理在面对不确定和噪声信息时的表现。
技术框架：AgentGym2的整体架构包括任务实例生成模块、代理执行模块和评估模块。任务实例生成模块负责创建真实场景中的任务，代理执行模块评估代理的执行能力，评估模块则对代理的表现进行综合评分。
关键创新：AgentGym2的主要创新在于其基于真实世界需求的评估框架，区别于传统方法的理想化设置，能够更真实地反映代理在复杂环境中的表现。
关键设计：在设计中，AgentGym2考虑了多种环境噪声和不确定性因素，采用了动态任务生成和实时评估机制，以确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最先进的LLM系统如Gemini和GPT-5在AgentGym2上的表现不佳，揭示了它们在面对真实世界复杂任务时的局限性。这一发现强调了当前技术与实际应用需求之间的显著差距，促使未来研究朝着更具挑战性的环境进行。
🎯 应用场景
AgentGym2的评估框架可广泛应用于智能代理的开发和测试，尤其是在需要高鲁棒性和适应性的实际应用场景中，如自动驾驶、智能客服和机器人操作等领域。其研究成果将推动LLM代理在复杂环境中的应用，提升其在真实世界中的实用性和可靠性。
📄 摘要（原文）
Language agents, i.e., LLM agents, progress rapidly and are increasingly deployed in production environments. This trend underscores the urgent need for rigorous and realistic evaluations. However, most existing benchmarks evaluate agents in simplified, idealized settings. They typically rely on pre-packaged tool interfaces, overlook critical steps, and assume inputs are clean and fully specified. Consequently, they understate the difficulty of real deployments, where uncertainty and noise are ubiquitous and agents must proactively explore the environment to uncover new tools. To bridge this gap, we present AgentGym2, a new evaluation framework with task instances grounded in real-world end-to-end working demands. Beyond reasoning and planning, it measures agents' ability to execute end-to-end procedures, discover tools via exploration, compose tools for unseen tasks, and remain robust to noisy and underspecified information. Experiments on 15 proprietary and open-source models show that even SOTA systems like Gemini and GPT-5 struggle on AgentGym2, revealing a substantial gap between the capability of current agents and the demands of real-world applications.