The Illusion of Multi-Agent Advantage
作者: Prathyusha Jwalapuram, Hehai Lin, Chuyuan Li, Fangkai Jiao, Sudong Wang, Yifei Ming, Zixuan Ke, Chengwei Qin, Giuseppe Carenini, Shafiq Joty
分类: cs.AI, cs.CL, cs.MA
发布日期: 2026-06-11
💡 一句话要点
提出多智能体系统评估新方法以解决性能误区问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 单智能体系统 性能评估 自动生成架构 任务分解 上下文分离 复杂性分析
📋 核心要点
- 现有多智能体系统的评估主要依赖于与单智能体系统的比较，未能充分考量其优势。
- 论文提出了一种新的评估框架，通过引入合成数据集来系统性地分析多智能体系统的性能。
- 实验结果表明，专家设计的多智能体系统在性能和成本效率上均优于自动生成的架构。
📝 摘要（中文）
现有观点认为多智能体系统（MAS）优于单智能体系统（SAS），但这一说法缺乏实证支持。本文通过对自动生成的MAS与单智能体系统（特别是链式思维与自一致性方法）进行系统评估，发现自动生成的MAS在多个任务上表现不佳，尽管其成本高达单智能体系统的十倍。为此，论文引入了一种新的诊断合成数据集，揭示了当前自动设计范式的架构冗余问题，强调了多智能体原则与功能效用之间的根本不一致。
🔬 方法详解
问题定义：本文旨在解决当前多智能体系统（MAS）在性能评估中的误区，现有方法主要依赖于与单智能体系统（SAS）的比较，未能真实反映MAS的优势。
核心思路：通过引入一种新的诊断合成数据集，专门设计用于评估MAS的任务分解、上下文分离和并行化潜力，从而更准确地评估其性能。
技术框架：整体架构包括数据集的构建、MAS与SAS的性能对比、以及对生成架构的系统性解构，重点分析其复杂性与功能效用之间的关系。
关键创新：最重要的创新在于揭示了当前自动生成的MAS架构存在的冗余问题，强调了复杂性与实际功能之间的脱节，提出了新的评估标准。
关键设计：在实验中，采用了明确的任务分解策略，设计了特定的损失函数以优化MAS的性能，并对比了专家设计与自动生成架构的成本效益。
🖼️ 关键图片
📊 实验亮点
实验结果显示，专家设计的多智能体系统在性能上显著优于自动生成的架构，尤其在特定任务上表现出更高的成本效率。具体而言，专家设计的系统在多个传统推理数据集上均表现出色，且在复杂交互任务中也展现出明显的优势。
🎯 应用场景
该研究的潜在应用领域包括智能决策系统、自动化协作平台和复杂任务处理等。通过优化多智能体系统的设计与评估方法，能够提升其在实际应用中的效率和效果，推动智能系统的进一步发展与应用。
📄 摘要（原文）
Prevailing wisdom posits that Multi-Agent Systems (MAS) are superior to Single-Agent Systems (SAS), citing advantages like context protection, parallel processing and distributed decision-making. However, empirical support for this claim relies primarily on comparisons with SAS baselines using benchmarks that prioritize isolated reasoning tasks, which do not adequately assess these advantages. Focusing on automatically generated MAS that are designed for enhanced generalizability over manually-designed counterparts, we perform a rigorous, systematic evaluation against SAS, specifically Chain-of-Thought with Self-Consistency (CoT-SC). Across traditional reasoning datasets and tasks with interactive multi-step workflows (e.g., BrowseComp-Plus), we demonstrate that automatic MAS consistently underperform CoT-SC despite being up to 10x more expensive. To isolate these failures from limitations inherent to task structure, we introduce a diagnostic synthetic dataset tailored for MAS featuring explicit task decomposition, context separation and parallelization potential. We show that expert-architected MAS consistently outperforms automatically generated architectures in both raw performance and cost-efficiency on this dataset, demonstrating that existing evaluation frameworks mask critical architectural gaps and inefficiencies of complex MAS by failing to account for the marginal utility of increased computational cost. Critically, systematic deconstruction of the generated MAS architectures reveals that current automated design paradigms produce architectural bloat that prioritizes superficial complexity which does not translate into functional utility, exposing a fundamental misalignment with multi-agent principles.