LiveAgentBench: Comprehensive Benchmarking of Agentic Systems Across 104 Real-World Challenges

📄 arXiv: 2603.02586v1 📥 PDF

作者: Hao Li, Huan Wang, Jinjie Gu, Wenjie Wang, Chenyi Zhuang, Sikang Bian

分类: cs.AI

发布日期: 2026-03-03

💡 一句话要点

LiveAgentBench：包含104个真实世界挑战的Agentic系统综合基准测试

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agentic系统 基准测试 真实世界场景 社会感知 数据生成

📋 核心要点

  1. 现有Agent基准测试难以准确反映真实用户任务，限制了对Agent实际能力的评估。
  2. 提出社会感知驱动数据生成（SPDG）方法，确保基准测试问题与真实世界相关，并具有可验证性。
  3. 构建包含104个真实场景的LiveAgentBench基准，评估多种模型和框架，揭示其性能瓶颈。

📝 摘要（中文）

随着大型语言模型能力的增强，通用AI Agent在实际应用中变得越来越普遍。然而，现有的基准测试面临着重大局限性，无法准确地代表真实世界的用户任务。为了解决这一差距，我们提出了LiveAgentBench，这是一个包含104个场景的综合基准测试，反映了真实的用户需求。它由社交媒体和真实世界产品上的公开问题构建而成。我们方法的核心是社会感知驱动数据生成（SPDG）方法，这是我们开发的一种新颖流程，旨在确保每个问题的真实世界相关性、任务复杂性和结果可验证性。我们使用LiveAgentBench评估了各种模型、框架和商业产品，揭示了它们的实际性能并确定了需要改进的领域。此版本包括374个任务，其中125个用于验证，249个用于测试。SPDG流程能够通过来自真实世界交互的新鲜查询进行持续更新。

🔬 方法详解

问题定义：现有Agent基准测试无法充分模拟真实用户场景，导致评估结果与实际应用存在偏差。痛点在于缺乏真实性、复杂性和可验证性，难以有效指导Agent的开发和优化。

核心思路：核心在于构建一个更贴近真实世界的基准测试。通过从社交媒体和真实产品中收集问题，并采用社会感知驱动的数据生成（SPDG）方法，确保每个问题都具有实际意义、任务复杂性以及结果的可验证性。

技术框架：LiveAgentBench的构建流程主要包括以下几个阶段：1) 从社交媒体和真实产品中收集用户问题；2) 使用SPDG方法对问题进行筛选和增强，确保其真实性、复杂性和可验证性；3) 将问题转化为Agent可以理解和执行的任务；4) 评估Agent在这些任务上的表现。

关键创新：SPDG方法是关键创新。它利用社会感知来驱动数据生成，确保生成的问题能够反映真实用户的需求和意图。与传统的数据生成方法相比，SPDG方法能够更好地捕捉真实世界的复杂性和多样性。

关键设计：SPDG方法的具体实现细节未知，但可以推测其可能涉及自然语言处理、知识图谱、用户行为分析等技术。基准测试包含104个场景，374个任务，其中125个用于验证，249个用于测试。任务涵盖了各种真实世界的用户需求，例如信息检索、问题解答、任务规划等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LiveAgentBench包含104个真实世界场景和374个任务，显著提升了基准测试的真实性和复杂性。通过对多种模型、框架和商业产品的评估，揭示了现有Agentic系统在实际应用中的性能瓶颈，为未来的研究方向提供了重要参考。

🎯 应用场景

LiveAgentBench可用于评估和比较不同Agentic系统的性能，指导Agent的设计和优化。它能够促进通用AI Agent在实际应用中的发展，例如智能客服、虚拟助手、自动化流程等。该基准测试的持续更新机制，使其能够适应不断变化的用户需求和技术发展。

📄 摘要（原文）

As large language models grow more capable, general AI agents have become increasingly prevalent in practical applications. However, existing benchmarks face significant limitations, failing to represent real-world user tasks accurately. To address this gap, we present LiveAgentBench, a comprehensive benchmark with 104 scenarios that reflect real user requirements. It is constructed from publicly sourced questions on social media and real-world products. Central to our approach is the Social Perception-Driven Data Generation (SPDG) method, a novel process we developed to ensure each question's real-world relevance, task complexity, and result verifiability. We evaluate various models, frameworks, and commercial products using LiveAgentBench, revealing their practical performance and identifying areas for improvement. This release includes 374 tasks, with 125 for validation and 249 for testing. The SPDG process enables continuous updates with fresh queries from real-world interactions.