ARMOR-MAD: Adaptive Routing for Heterogeneous Multi-Agent Debate in Large Language Model Reasoning

📄 arXiv: 2606.13197v1 📥 PDF

作者: Fuqiang Niu, Bowen Zhang

分类: cs.AI

发布日期: 2026-06-11

💡 一句话要点

提出ARMOR-MAD以解决多代理辩论中的计算浪费问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多代理辩论 条件计算 模型异构性 语义检测 推理效率

📋 核心要点

  1. 现有的多代理辩论方法存在计算资源浪费和相似代理间错误放大的问题。
  2. ARMOR-MAD通过将辩论视为条件计算，提出了无训练的异构辩论框架，包含预辩论一致性路由、早期一致性停止评估和语义异常检测三个组件。
  3. 在多个数据集上，ARMOR-MAD的准确率显著提高，表明其在提升多代理辩论效率和准确性方面的有效性。

📝 摘要（中文）

多代理辩论（MAD）可以提升大型语言模型的推理能力，但固定的辩论流程往往会浪费计算资源，并可能放大相似代理之间的相关错误。本文提出了ARMOR-MAD，一个无训练的异构MAD框架，将辩论视为条件计算。ARMOR-MAD结合了三个组件：预辩论一致性路由（PAR）决定是否需要辩论独立生成的Round-0答案；早期一致性停止评估器（EASE）在收敛后停止辩论；语义异常检测（SOD）在聚合过程中降低异常最终答案的权重。在MATH Level 5、GSM8K、MMLU和MMLU-Pro数据集上，ARMOR-MAD在相同模型池下的异构辩论中表现出一致的提升，分别达到了65.5%、96.5%、90.0%和81.5%的准确率。这些结果表明，真正的模型异构性和基于一致性的控制对于提高MAD的准确性和效率都至关重要。

🔬 方法详解

问题定义：本文旨在解决现有多代理辩论（MAD）方法中固定辩论流程导致的计算资源浪费和相似代理间错误放大的问题。现有方法在处理多样化问题时，往往无法有效利用模型的异构性。

核心思路：ARMOR-MAD的核心思路是将辩论视为条件计算，通过动态路由和停止机制来优化计算过程，从而提高推理的准确性和效率。

技术框架：ARMOR-MAD框架由三个主要模块组成：预辩论一致性路由（PAR）用于判断是否需要辩论，早期一致性停止评估器（EASE）在答案收敛后停止辩论，语义异常检测（SOD）则在聚合过程中降低异常答案的影响。

关键创新：ARMOR-MAD的创新在于其无训练的异构辩论设计，能够根据模型的输出动态调整辩论流程，与传统固定轮次辩论方法相比，显著提升了计算效率和结果准确性。

关键设计：在设计上，ARMOR-MAD通过设置合理的阈值来实现PAR和EASE的功能，同时SOD模块采用语义分析技术来识别并降低异常答案的权重，确保最终聚合结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在MATH Level 5、GSM8K、MMLU和MMLU-Pro数据集上，ARMOR-MAD分别达到了65.5%、96.5%、90.0%和81.5%的准确率，显著优于传统的固定轮次异构辩论方法，展示了其在提升多代理辩论效率和准确性方面的强大能力。

🎯 应用场景

ARMOR-MAD的研究成果在多个领域具有潜在应用价值，尤其是在需要高效推理和决策的场景，如智能客服、自动化问答系统和复杂问题求解等。通过优化多代理系统的计算流程，该方法能够提升系统的响应速度和准确性，推动智能系统的进一步发展。

📄 摘要（原文）

Multi-agent debate (MAD) can improve large language model reasoning, but fixed debate pipelines often waste computation and can amplify correlated errors among similar agents. We propose ARMOR-MAD, a training-free heterogeneous MAD framework that treats debate as conditional computation. ARMOR-MAD combines three components: Pre-debate Agreement Routing (PAR) decides whether independently generated Round-0 answers require debate; Early Agreement Stopping Evaluator (EASE) stops debate after convergence; and Semantic Outlier Detection (SOD) down-weights abnormal final answers during aggregation. Across MATH Level 5, GSM8K, MMLU, and MMLU-Pro, ARMOR-MAD consistently improves over fixed-round heterogeneous debate with the same model pool, reaching 65.5\%, 96.5\%, 90.0\%, and 81.5\% accuracy, respectively. The results suggest that genuine model heterogeneity and agreement-based control are both important for making MAD more accurate and efficient.