Belief in Authority: Impact of Authority in Multi-Agent Evaluation Framework

📄 arXiv: 2601.04790v1 📥 PDF

作者: Junhyuk Choi, Jeongyoun Kwon, Heeju Kim, Haeun Cho, Hayeong Jung, Sehee Min, Bugeun Kim

分类: cs.CL, cs.AI

发布日期: 2026-01-08

备注: Preprint

💡 一句话要点

首个多智能体评估框架研究：角色权威性偏见对智能体交互的影响分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 权威偏见 角色扮演 大型语言模型 智能体交互

📋 核心要点

  1. 现有基于大型语言模型的多智能体系统倾向于分配权威角色以提升性能，但权威偏见对智能体交互的影响尚不明确。
  2. 该研究提出了一种系统分析角色权威性偏见的方法，通过ChatEval框架，研究不同类型的权威角色在多智能体对话中的影响。
  3. 实验结果表明，专家权力和参照权力角色比合法权力角色影响更大，且权威影响依赖于明确的立场声明。

📝 摘要（中文）

本文首次系统性地分析了基于角色的权威性偏见对自由形式多智能体评估的影响，使用了ChatEval框架。基于French和Raven的权力理论，我们将权威角色分为合法权力、参照权力和专家权力三种类型，并分析了它们在12轮对话中的影响。使用GPT-4o和DeepSeek R1的实验表明，专家权力和参照权力角色比合法权力角色具有更强的影响力。关键在于，权威性偏见并非源于普通智能体的积极顺从，而是源于权威角色始终坚持自己的立场，而普通智能体表现出灵活性。此外，权威影响需要明确的立场声明，因为中立的回应无法产生偏见。这些发现为设计具有非对称交互模式的多智能体框架提供了关键见解。

🔬 方法详解

问题定义：论文旨在研究在多智能体系统中，不同类型的权威角色如何影响其他智能体的行为和决策。现有方法缺乏对权威偏见的系统性分析，无法有效评估其对智能体交互的影响。这阻碍了设计更有效、更公平的多智能体系统。

核心思路：论文的核心思路是借鉴French和Raven的权力理论，将权威角色分为合法权力、参照权力和专家权力三种类型，并通过实验分析它们在多智能体对话中的影响力。通过观察不同角色在对话中的行为模式，揭示权威偏见的产生机制。

技术框架：论文使用ChatEval框架进行多智能体评估。该框架允许定义不同的智能体角色，并模拟它们之间的自由形式对话。实验流程包括：1) 定义智能体角色（包括权威角色和普通角色）；2) 设置对话场景和目标；3) 让智能体进行多轮对话；4) 分析对话记录，评估不同权威角色对其他智能体的影响。

关键创新：该研究的创新点在于：1) 首次系统性地分析了角色权威性偏见对多智能体交互的影响；2) 基于French和Raven的权力理论，对权威角色进行了细致的分类；3) 揭示了权威偏见并非源于普通智能体的积极顺从，而是源于权威角色坚持立场和普通智能体表现灵活性的共同作用。

关键设计：实验中，使用了GPT-4o和DeepSeek R1作为智能体的底层模型。对话轮数为12轮。通过分析对话记录中智能体的立场变化、观点采纳等指标，评估权威角色的影响力。关键在于设计了不同的对话场景，以考察权威偏见在不同情境下的表现。

📊 实验亮点

实验结果表明，专家权力和参照权力角色比合法权力角色具有更强的影响力。权威性偏见并非源于普通智能体的积极顺从，而是源于权威角色始终坚持自己的立场，而普通智能体表现出灵活性。此外，权威影响需要明确的立场声明，因为中立的回应无法产生偏见。

🎯 应用场景

该研究成果可应用于设计更有效、更公平的多智能体系统，例如在教育、医疗、客户服务等领域。通过理解权威偏见的影响，可以优化智能体角色的分配和交互模式，提高系统的整体性能和用户满意度。此外，该研究还可以为开发更具鲁棒性和适应性的AI系统提供指导。

📄 摘要（原文）

Multi-agent systems utilizing large language models often assign authoritative roles to improve performance, yet the impact of authority bias on agent interactions remains underexplored. We present the first systematic analysis of role-based authority bias in free-form multi-agent evaluation using ChatEval. Applying French and Raven's power-based theory, we classify authoritative roles into legitimate, referent, and expert types and analyze their influence across 12-turn conversations. Experiments with GPT-4o and DeepSeek R1 reveal that Expert and Referent power roles exert stronger influence than Legitimate power roles. Crucially, authority bias emerges not through active conformity by general agents, but through authoritative roles consistently maintaining their positions while general agents demonstrate flexibility. Furthermore, authority influence requires clear position statements, as neutral responses fail to generate bias. These findings provide key insights for designing multi-agent frameworks with asymmetric interaction patterns.