Multiple LLM Agents Debate for Equitable Cultural Alignment

📄 arXiv: 2505.24671v2 📥 PDF

作者: Dayeon Ki, Rachel Rudinger, Tianyi Zhou, Marine Carpuat

分类: cs.CL, cs.AI

发布日期: 2025-05-30 (更新: 2025-09-01)

备注: ACL 2025 (Oral)

💡 一句话要点

提出多代理辩论框架以促进文化适应性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化适应性 多代理系统 辩论机制 跨文化交流 社会礼仪规范 模型组合

📋 核心要点

  1. 现有方法主要集中在单一LLM的单轮交互，难以有效应对多样化的文化背景。
  2. 论文提出的多代理辩论框架通过两个LLM代理的辩论，促进文化适应性并达成共识。
  3. 实验结果显示，辩论方法在准确性和文化群体平衡上均优于单一LLM基线，且小模型表现出色。

📝 摘要（中文）

大型语言模型（LLMs）需要根据多样的文化背景调整其预测，以惠及全球不同社区。以往的研究主要集中在单一LLM的单轮交互上，而本研究提出利用多个LLM的互补优势来促进文化适应性。我们引入了一个多代理辩论框架，其中两个基于LLM的代理围绕文化场景进行辩论并共同达成最终决策。我们提出了两种变体：一种是LLM代理独立辩论，另一种是在其回合中动态选择自我反思或辩论。通过在75个国家的社会礼仪规范的NormAd-ETI基准上评估这7个开放权重LLM（及21个LLM组合），实验结果表明，辩论不仅提高了整体准确性，还改善了文化群体的平衡。值得注意的是，多代理辩论使得相对较小的LLM（7-9B参数）能够达到与更大模型（27B参数）相当的准确性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在多样文化背景下的适应性不足问题。现有方法往往依赖单一LLM，无法充分利用不同模型的优势，导致预测结果的文化偏差。

核心思路：论文的核心思路是通过引入多代理辩论框架，利用两个LLM代理之间的辩论来增强模型的文化适应性。通过辩论，模型能够更全面地考虑不同文化视角，从而做出更为平衡的决策。

技术框架：整体架构包括两个主要模块：辩论模块和决策模块。在辩论模块中，两个LLM代理围绕特定文化场景进行互动，提出各自的观点；在决策模块中，基于辩论结果，代理共同达成最终决策。

关键创新：最重要的技术创新在于引入了多代理辩论这一机制，使得模型能够在不同文化背景下进行更为深入的讨论和反思。这与现有的单一LLM方法形成了鲜明对比，后者缺乏多样化的视角。

关键设计：在设计上，论文考虑了代理的回合制辩论机制，允许代理在每个回合中选择辩论或自我反思。此外，实验中使用了NormAd-ETI基准，确保了评估的全面性和准确性。

📊 实验亮点

实验结果显示，采用多代理辩论框架后，模型的整体准确性和文化群体平衡性显著提高。具体而言，较小的LLM（7-9B参数）在准确性上达到了与27B参数的大模型相当的水平，展示了辩论机制的有效性。

🎯 应用场景

该研究的潜在应用领域包括跨文化交流、国际化产品设计以及多语言教育等。通过提升LLM在不同文化背景下的适应性，能够更好地满足全球用户的需求，促进文化理解与交流，具有重要的社会价值和实际影响。

📄 摘要（原文）

Large Language Models (LLMs) need to adapt their predictions to diverse cultural contexts to benefit diverse communities across the world. While previous efforts have focused on single-LLM, single-turn approaches, we propose to exploit the complementary strengths of multiple LLMs to promote cultural adaptability. We introduce a Multi-Agent Debate framework, where two LLM-based agents debate over a cultural scenario and collaboratively reach a final decision. We propose two variants: one where either LLM agents exclusively debate and another where they dynamically choose between self-reflection and debate during their turns. We evaluate these approaches on 7 open-weight LLMs (and 21 LLM combinations) using the NormAd-ETI benchmark for social etiquette norms in 75 countries. Experiments show that debate improves both overall accuracy and cultural group parity over single-LLM baselines. Notably, multi-agent debate enables relatively small LLMs (7-9B) to achieve accuracies comparable to that of a much larger model (27B parameters).