The Illusion of Multi-Agent Advantage
作者: Prathyusha Jwalapuram, Hehai Lin, Chuyuan Li, Fangkai Jiao, Sudong Wang, Yifei Ming, Zixuan Ke, Chengwei Qin, Giuseppe Carenini, Shafiq Joty
分类: cs.AI, cs.CL, cs.MA
发布日期: 2026-06-12
💡 一句话要点
提出自动生成多智能体系统以解决单智能体系统的评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 单智能体系统 性能评估 任务分解 上下文管理 自动生成架构 系统评估
📋 核心要点
- 现有的多智能体系统（MAS）与单智能体系统（SAS）比较缺乏有效的实证支持，尤其是在复杂任务中。
- 论文提出了一种新的评估框架，通过合成数据集来系统性地评估MAS的性能，重点关注任务分解和上下文分离。
- 实验结果显示，专家设计的MAS在性能和成本效率上均优于自动生成的MAS，揭示了自动设计方法的局限性。
📝 摘要（中文）
现有观点认为多智能体系统（MAS）优于单智能体系统（SAS），但这种观点缺乏实证支持。本文通过对自动生成的MAS与单智能体系统的系统评估，发现自动生成的MAS在多项任务中表现不佳，尽管其成本高达单智能体系统的10倍。为此，研究引入了一种新的合成数据集，专门针对MAS的任务分解和上下文分离进行评估，结果表明专家设计的MAS在性能和成本效率上均优于自动生成的架构，揭示了现有评估框架的不足。
🔬 方法详解
问题定义：本文旨在解决现有多智能体系统（MAS）在与单智能体系统（SAS）比较时缺乏有效评估的问题，尤其是在复杂任务中的表现不足。现有方法主要依赖于优先考虑孤立推理任务的基准测试，未能充分评估MAS的优势。
核心思路：论文通过引入一种新的合成数据集，专门设计用于评估MAS的任务分解、上下文分离和并行化潜力，系统性地比较自动生成的MAS与专家设计的MAS。
技术框架：整体架构包括数据集的构建、MAS架构的生成与评估、以及与单智能体系统的对比分析。主要模块包括任务分解模块、上下文管理模块和性能评估模块。
关键创新：最重要的创新在于提出了一种新的评估框架，能够揭示自动生成MAS的架构膨胀问题，强调了复杂性与功能效用之间的错位。
关键设计：在合成数据集中，任务被明确分解，允许对MAS的上下文进行分离和并行处理，评估过程中采用了多种性能指标，以确保全面评估MAS的有效性。实验中还考虑了计算成本与性能之间的权衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，专家设计的多智能体系统在性能上优于自动生成的系统，尤其是在复杂任务中，性能提升幅度显著，且在成本效率上表现更佳，揭示了当前自动设计方法的局限性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化决策系统和复杂任务管理等。通过优化多智能体系统的设计与评估，可以提升这些系统在实际应用中的效率和可靠性，推动智能系统的进一步发展。
📄 摘要（原文）
Prevailing wisdom posits that Multi-Agent Systems (MAS) are superior to Single-Agent Systems (SAS), citing advantages like context protection, parallel processing and distributed decision-making. However, empirical support for this claim relies primarily on comparisons with SAS baselines using benchmarks that prioritize isolated reasoning tasks, which do not adequately assess these advantages. Focusing on automatically generated MAS that are designed for enhanced generalizability over manually-designed counterparts, we perform a rigorous, systematic evaluation against SAS, specifically Chain-of-Thought with Self-Consistency (CoT-SC). Across traditional reasoning datasets and tasks with interactive multi-step workflows (e.g., BrowseComp-Plus), we demonstrate that automatic MAS consistently underperform CoT-SC despite being up to 10x more expensive. To isolate these failures from limitations inherent to task structure, we introduce a diagnostic synthetic dataset tailored for MAS featuring explicit task decomposition, context separation and parallelization potential. We show that expert-architected MAS consistently outperforms automatically generated architectures in both raw performance and cost-efficiency on this dataset, demonstrating that existing evaluation frameworks mask critical architectural gaps and inefficiencies of complex MAS by failing to account for the marginal utility of increased computational cost. Critically, systematic deconstruction of the generated MAS architectures reveals that current automated design paradigms produce architectural bloat that prioritizes superficial complexity which does not translate into functional utility, exposing a fundamental misalignment with multi-agent principles.