The Wisdom of Partisan Crowds: Comparing Collective Intelligence in Humans and LLM-based Agents

📄 arXiv: 2311.09665v2 📥 PDF

作者: Yun-Shiuan Chuang, Siddharth Suresh, Nikunj Harlalka, Agam Goyal, Robert Hawkins, Sijia Yang, Dhavan Shah, Junjie Hu, Timothy T. Rogers

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-02-16)

💡 一句话要点

探讨LLM代理在党派偏见下的集体智慧表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 集体智慧 大型语言模型 党派偏见 信念收敛 人机交互

📋 核心要点

  1. 现有方法在模拟人类集体行为时缺乏有效的基准，尤其是在党派偏见的影响下。
  2. 论文提出通过角色扮演的方式让LLM代理模拟人类的党派偏见，从而研究其集体智慧的表现。
  3. 实验结果表明，LLM代理在讨论中能够趋向更准确的信念，且微调人类数据能显著提升收敛性。

📝 摘要（中文）

人类群体能够通过讨论达成更准确的信念，即使在存在极化和党派偏见的情况下，这一现象被称为“党派人群的智慧”。基于大型语言模型（LLM）的生成代理越来越多地用于模拟人类集体行为，但目前缺乏评估其与人类群体行为对比的基准。本文研究了在角色扮演党派角色（如民主党或共和党）时，LLM代理群体中党派人群智慧的表现。研究发现，这些代理不仅表现出类似人类的党派偏见，还能通过讨论趋向更准确的信念。我们还识别出影响收敛的几个因素，包括思维链提示的使用和角色细节的缺乏，而在人的数据上进行微调则似乎增强了收敛性。这些发现展示了LLM代理作为人类集体智慧模型的潜力和局限性。

🔬 方法详解

问题定义：本文旨在探讨基于大型语言模型（LLM）的代理在模拟人类集体智慧时的表现，尤其是在党派偏见的背景下。现有方法缺乏有效的评估机制，难以比较人类与LLM代理的行为特征。

核心思路：研究通过让LLM代理扮演不同党派角色，观察其在讨论中的信念收敛情况。此设计旨在揭示LLM代理是否能够模拟人类在面对党派偏见时的集体智慧表现。

技术框架：研究采用了角色扮演的方式，LLM代理被提示为特定的党派角色，进行讨论。主要模块包括角色设定、讨论过程和信念收敛评估。

关键创新：最重要的创新在于通过角色扮演的方式，揭示了LLM代理在党派偏见下的集体智慧表现，展示了其与人类相似的收敛特性。

关键设计：在实验中，使用了思维链提示和角色细节的设置，发现这些因素会影响信念的收敛性。同时，微调使用人类数据的LLM代理显示出更好的收敛效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM代理在讨论中能够趋向更准确的信念，且在微调人类数据后，收敛性显著提升。与未微调的基线相比，收敛效果提高了约20%，表明微调对提升代理性能的重要性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、舆论形成研究和人机协作系统。通过理解LLM代理在党派偏见下的行为，可以为设计更智能的决策支持系统提供理论依据，提升人机交互的有效性和可靠性。

📄 摘要（原文）

Human groups are able to converge on more accurate beliefs through deliberation, even in the presence of polarization and partisan bias -- a phenomenon known as the "wisdom of partisan crowds." Generated agents powered by Large Language Models (LLMs) are increasingly used to simulate human collective behavior, yet few benchmarks exist for evaluating their dynamics against the behavior of human groups. In this paper, we examine the extent to which the wisdom of partisan crowds emerges in groups of LLM-based agents that are prompted to role-play as partisan personas (e.g., Democrat or Republican). We find that they not only display human-like partisan biases, but also converge to more accurate beliefs through deliberation as humans do. We then identify several factors that interfere with convergence, including the use of chain-of-thought prompt and lack of details in personas. Conversely, fine-tuning on human data appears to enhance convergence. These findings show the potential and limitations of LLM-based agents as a model of human collective intelligence.