Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs
作者: Andries Smit, Paul Duckworth, Nathan Grinsztajn, Thomas D. Barrett, Arnu Pretorius
分类: cs.CL, cs.AI
发布日期: 2023-11-29 (更新: 2024-07-18)
备注: 2 pages, 13 figures
💡 一句话要点
提出多代理辩论策略以提升大语言模型的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多代理辩论 大语言模型 超参数调优 生成模型 准确性提升 智能问答 信息检索
📋 核心要点
- 现有的生成代理在提供准确和可靠答案方面面临挑战，尤其是在复杂问题上。
- 论文提出通过多代理辩论（MAD）策略来增强大语言模型的真实性，探索不同的辩论和提示策略。
- 实验结果显示，经过超参数调优的MAD系统在性能上优于其他方法，尤其是在代理一致性水平调整后。
📝 摘要（中文）
近期大语言模型（LLMs）的进展凸显了其在各领域回答问题的潜力。然而，确保生成代理提供准确可靠的答案仍然是一个持续的挑战。在此背景下，多代理辩论（MAD）作为一种增强LLMs真实性的有前景策略应运而生。我们基准测试了一系列辩论和提示策略，以探讨成本、时间和准确性之间的权衡。重要的是，我们发现当前形式的多代理辩论系统并未可靠地超越其他提示策略，如自一致性和多推理路径集成。然而，在超参数调优时，某些MAD系统（如多角色）表现更佳。这表明，MAD协议可能并非本质上劣于其他方法，而是对不同超参数设置更为敏感且优化困难。我们基于这些结果提供了改进辩论策略的见解，如调整代理一致性水平，可以显著提升性能，甚至超越我们评估的所有非辩论协议。我们为社区提供了一个开源库，包含多个最先进的协议及评估脚本，以便在流行研究数据集上进行基准测试。
🔬 方法详解
问题定义：本论文旨在解决大语言模型在生成准确答案时的可靠性问题，现有方法在处理复杂问题时表现不佳，难以保证答案的真实性。
核心思路：论文提出通过多代理辩论（MAD）策略来提升模型的回答准确性，重点在于探索不同的辩论和提示策略的效果。
技术框架：整体架构包括多个代理参与辩论，采用不同的提示策略进行比较，评估其在成本、时间和准确性上的表现。主要模块包括代理生成、辩论过程和结果评估。
关键创新：最重要的技术创新在于通过超参数调优提升MAD系统的性能，尤其是调整代理之间的一致性水平，显著改善了模型的输出质量。
关键设计：在设计中，重点关注超参数设置的灵活性和优化难度，采用了多角色代理的设计以增强辩论的多样性和深度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过超参数调优的多代理辩论系统（如多角色）在准确性上优于其他提示策略，尤其是在调整代理一致性水平后，性能提升显著，超越了所有评估的非辩论协议。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、教育辅助工具和信息检索等。通过提升大语言模型的回答准确性，能够在实际应用中提供更为可靠的信息支持，进而推动相关领域的发展和创新。
📄 摘要（原文）
Recent advancements in large language models (LLMs) underscore their potential for responding to inquiries in various domains. However, ensuring that generative agents provide accurate and reliable answers remains an ongoing challenge. In this context, multi-agent debate (MAD) has emerged as a promising strategy for enhancing the truthfulness of LLMs. We benchmark a range of debating and prompting strategies to explore the trade-offs between cost, time, and accuracy. Importantly, we find that multi-agent debating systems, in their current form, do not reliably outperform other proposed prompting strategies, such as self-consistency and ensembling using multiple reasoning paths. However, when performing hyperparameter tuning, several MAD systems, such as Multi-Persona, perform better. This suggests that MAD protocols might not be inherently worse than other approaches, but that they are more sensitive to different hyperparameter settings and difficult to optimize. We build on these results to offer insights into improving debating strategies, such as adjusting agent agreement levels, which can significantly enhance performance and even surpass all other non-debate protocols we evaluated. We provide an open-source repository to the community with several state-of-the-art protocols together with evaluation scripts to benchmark across popular research datasets.