The Persuasive Power of Large Language Models

📄 arXiv: 2312.15523v1 📥 PDF

作者: Simon Martin Breum, Daniel Vædele Egdal, Victor Gram Mortensen, Anders Giovanni Møller, Luca Maria Aiello

分类: cs.CY, cs.CL, cs.HC, physics.soc-ph

发布日期: 2023-12-24

备注: 9 pages, 6 figures, 3 tables, 1 page in appendix

💡 一句话要点

探究大型语言模型在意见引导中的说服力，为合成社会系统研究奠定基础

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 意见动态 说服力 合成社会系统 心理语言学

📋 核心要点

  1. 现有方法缺乏对大型语言模型在意见引导中作用的系统性研究，尤其是在模拟人类社会说服动态方面的能力。
  2. 论文设计合成对话场景，让LLM扮演说服者和怀疑者，通过生成不同论据来研究其对意见改变的影响。
  3. 实验结果表明，包含事实知识、信任和支持等元素的论据更具说服力，为LLM在意见形成中的潜在作用提供了证据。

📝 摘要（中文）

本文旨在研究大型语言模型作为类人社会智能体，在意见动态领域的影响力。主要探讨两个问题：一是LLM能否生成有效论据，影响在线讨论并引导公众舆论；二是LLM能否相互交互，重现人类社会系统中典型的说服动态，从而为研究合成社会系统提供机会，将其作为人类群体意见动态的可靠代理。研究设计了一个关于气候变化的合成说服对话场景，其中“说服者”智能体为“怀疑者”智能体生成有说服力的论据，后者评估该论据是否改变了其内部意见状态。生成不同类型的论据，以纳入支持心理语言学意见改变理论的不同语言维度。然后，研究人员让人类评估机器生成论据的说服力。结果表明，包含事实知识、信任标记、支持表达和地位传递的论据被认为是最有效的，人类尤其偏爱基于知识的论据。该实验框架为未来对意见动态的计算机模拟研究奠定了基础，研究结果表明，人工智能体有可能在在线社交媒体的集体意见形成过程中发挥重要作用。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）是否能够有效地影响和引导公众舆论，以及它们是否能够模拟人类社会中的说服动态。现有方法缺乏对LLM在意见引导方面的系统性研究，特别是缺乏对LLM之间交互以重现人类说服过程的研究。

核心思路：核心思路是构建一个合成的说服对话场景，让LLM扮演不同的角色（说服者和怀疑者），通过生成和评估论据来模拟意见改变的过程。通过控制论据的类型和内容，研究人员可以分析不同语言维度对说服效果的影响。

技术框架：整体框架包括以下几个主要阶段： 1. 场景设计：构建一个关于气候变化的对话场景，涉及一个“说服者”智能体和一个“怀疑者”智能体。 2. 论据生成：说服者智能体生成不同类型的论据，这些论据包含不同的语言特征，例如事实知识、信任标记、支持表达和地位传递。 3. 意见评估：怀疑者智能体评估接收到的论据，并判断其内部意见状态是否发生改变。 4. 人类评估：招募人类评估者，评估机器生成的论据的说服力。 5. 结果分析：比较机器和人类对论据说服力的评估结果，分析不同论据特征对说服效果的影响。

关键创新：关键创新在于构建了一个合成的、可控的实验环境，用于研究LLM在意见引导中的作用。通过结合机器评估和人类评估，研究人员可以更全面地了解LLM的说服能力，并识别影响说服效果的关键因素。此外，该研究还探索了LLM之间相互作用的可能性，为构建合成社会系统奠定了基础。

关键设计： * 论据类型：设计了多种类型的论据，每种论据都强调不同的语言维度，例如事实性、情感性、权威性等。 * 意见状态表示：使用某种方式（具体方法未知）来表示智能体的内部意见状态，并跟踪其在接收到论据后的变化。 * 评估指标：使用多种指标来评估论据的说服力，包括机器评估和人类评估。

📊 实验亮点

实验结果表明，包含事实知识、信任标记、支持表达和地位传递的论据被认为是最有效的。人类评估者尤其偏爱基于知识的论据。该研究揭示了影响LLM说服力的关键因素，为设计更有效的意见引导策略提供了依据。具体性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于在线社交媒体舆情分析、智能营销、公共政策制定等领域。通过理解LLM的说服机制，可以更好地预测和引导公众舆论，提高信息传播的效率和效果。此外，该研究为构建合成社会系统提供了新的思路，有助于研究复杂社会现象。

📄 摘要（原文）

The increasing capability of Large Language Models to act as human-like social agents raises two important questions in the area of opinion dynamics. First, whether these agents can generate effective arguments that could be injected into the online discourse to steer the public opinion. Second, whether artificial agents can interact with each other to reproduce dynamics of persuasion typical of human social systems, opening up opportunities for studying synthetic social systems as faithful proxies for opinion dynamics in human populations. To address these questions, we designed a synthetic persuasion dialogue scenario on the topic of climate change, where a 'convincer' agent generates a persuasive argument for a 'skeptic' agent, who subsequently assesses whether the argument changed its internal opinion state. Different types of arguments were generated to incorporate different linguistic dimensions underpinning psycho-linguistic theories of opinion change. We then asked human judges to evaluate the persuasiveness of machine-generated arguments. Arguments that included factual knowledge, markers of trust, expressions of support, and conveyed status were deemed most effective according to both humans and agents, with humans reporting a marked preference for knowledge-based arguments. Our experimental framework lays the groundwork for future in-silico studies of opinion dynamics, and our findings suggest that artificial agents have the potential of playing an important role in collective processes of opinion formation in online social media.