Simulating Opinion Dynamics with Networks of LLM-based Agents

📄 arXiv: 2311.09618v4 📥 PDF

作者: Yun-Shiuan Chuang, Agam Goyal, Nikunj Harlalka, Siddharth Suresh, Robert Hawkins, Sijia Yang, Dhavan Shah, Junjie Hu, Timothy T. Rogers

分类: physics.soc-ph, cs.CL

发布日期: 2023-11-16 (更新: 2024-04-01)

💡 一句话要点

基于大语言模型的代理模拟人类意见动态

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 意见动态 代理模型 确认偏见 社会现象 虚假信息 科学共识

📋 核心要点

  1. 现有的基于代理的模型在模拟人类意见动态时常常过于简化，无法准确反映复杂的人类行为。
  2. 本文提出了一种新方法，利用大语言模型（LLMs）模拟人类意见动态，强调其在生成准确信息方面的内在偏见。
  3. 通过引入确认偏见，实验结果显示意见碎片化现象，与传统的意见动态研究结果相符，揭示了LLM的潜力与局限性。

📝 摘要（中文）

准确模拟人类意见动态对于理解社会现象如极化和虚假信息传播至关重要。然而，现有的基于代理的模型（ABMs）常常过于简化人类行为。本文提出了一种基于大语言模型（LLMs）的人类意见动态模拟新方法。研究发现，LLM代理在生成准确信息方面存在强烈的内在偏见，使得模拟代理在科学现实中达成共识。然而，这种偏见限制了它们在理解气候变化等问题上对共识观点的抵抗力。通过提示工程诱导确认偏见后，我们观察到意见碎片化现象，与现有的代理建模和意见动态研究一致。这些见解突显了LLM代理在该领域的潜力与局限，并建议通过真实世界的讨论来改进LLM，以更好地模拟人类信念的演变。

🔬 方法详解

问题定义：本文旨在解决现有基于代理的模型在模拟人类意见动态时的简化问题，导致无法真实反映人类复杂的意见演变过程。

核心思路：论文提出利用大语言模型（LLMs）作为代理，模拟人类意见动态，强调其在生成信息时的内在偏见，从而更真实地反映科学共识。

技术框架：整体架构包括数据收集、LLM训练、意见动态模拟和结果分析四个主要模块。数据收集阶段获取真实世界的讨论数据，LLM训练阶段通过这些数据优化模型，模拟阶段则使用训练好的模型进行意见动态的模拟，最后进行结果分析。

关键创新：最重要的技术创新在于通过大语言模型的内在偏见来模拟人类意见动态，这与传统的基于规则或简单代理的模型有本质区别，能够更好地反映科学共识的形成过程。

关键设计：在模型设计中，采用了特定的提示工程技术来诱导确认偏见，并通过调整模型参数和损失函数来优化生成的信息质量和意见动态的表现。具体的网络结构和训练细节在实验部分进行了详细描述。

📊 实验亮点

实验结果表明，通过引入确认偏见，LLM代理能够有效模拟意见碎片化现象，与传统的代理模型结果一致。这一发现为理解人类意见动态提供了新的视角，展示了LLM在社会科学研究中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、公共政策制定和舆论分析等。通过更准确地模拟人类意见动态，研究人员和政策制定者可以更好地理解社会现象，制定有效的应对策略，尤其是在应对虚假信息和社会极化方面具有重要价值。

📄 摘要（原文）

Accurately simulating human opinion dynamics is crucial for understanding a variety of societal phenomena, including polarization and the spread of misinformation. However, the agent-based models (ABMs) commonly used for such simulations often over-simplify human behavior. We propose a new approach to simulating opinion dynamics based on populations of Large Language Models (LLMs). Our findings reveal a strong inherent bias in LLM agents towards producing accurate information, leading simulated agents to consensus in line with scientific reality. This bias limits their utility for understanding resistance to consensus views on issues like climate change. After inducing confirmation bias through prompt engineering, however, we observed opinion fragmentation in line with existing agent-based modeling and opinion dynamics research. These insights highlight the promise and limitations of LLM agents in this domain and suggest a path forward: refining LLMs with real-world discourse to better simulate the evolution of human beliefs.