Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments

📄 arXiv: 2404.09329v2 📥 PDF

作者: Carlos Carrasco-Farre

分类: cs.CL

发布日期: 2024-04-14 (更新: 2024-04-21)

💡 一句话要点

探讨大型语言模型的说服力及其策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 说服力 道德语言 认知努力 情感分析 实验研究 数字传播

📋 核心要点

  1. 现有研究对大型语言模型的说服机制了解不足，缺乏系统比较与分析。
  2. 本文通过实验分析LLM与人类生成论点的认知努力和道德情感语言，揭示其说服策略。
  3. 研究结果表明，LLM生成的论点在复杂性和道德语言使用上优于人类，但情感内容相似。

📝 摘要（中文）

大型语言模型（LLMs）已经具备与人类相当的说服力，但其具体机制尚不明确。本文通过对1251名参与者的实验数据分析，比较了LLM生成的论点与人类生成的论点在认知努力（词汇和语法复杂性）及道德情感语言（情感和道德分析）方面的差异。研究发现，LLM生成的论点在认知努力上表现更高，语法和词汇结构更复杂。同时，LLM在道德语言的使用上表现出更强的倾向，频繁使用正负道德基础。与以往研究不同，LLM与人类在情感内容上未发现显著差异。这些发现为AI与说服力的讨论提供了新视角，强调了LLM在数字说服中的双重潜力。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在说服力方面的具体机制，现有研究未能深入分析其与人类生成论点的差异与相似之处。

核心思路：通过对比分析LLM与人类生成的论点，重点考察其在认知努力和道德情感语言使用上的差异，揭示LLM的说服策略。

技术框架：研究采用实验设计，收集1251名参与者的反馈，分析其对LLM与人类论点的认知反应，主要模块包括数据收集、分析与比较。

关键创新：本研究首次系统性地比较了LLM与人类在说服力方面的表现，特别是在认知努力和道德语言使用上的深入分析，填补了相关领域的研究空白。

关键设计：实验中使用了词汇复杂性、语法复杂性、情感分析和道德分析等多种指标，确保对说服策略的全面评估。

📊 实验亮点

实验结果显示，LLM生成的论点在认知复杂性上显著高于人类生成的论点，且在道德语言的使用频率上表现出更强的倾向。尽管如此，情感内容的差异并不显著，这一发现挑战了以往对LLM情感表达能力的认知。

🎯 应用场景

该研究的结果对理解和优化人工智能在数字沟通中的应用具有重要意义，尤其是在广告、政治传播和社会媒体等领域。通过掌握LLM的说服策略，可以更有效地设计信息传播策略，提升信息的影响力与说服力。

📄 摘要（原文）

Large Language Models (LLMs) are already as persuasive as humans. However, we know very little about how they do it. This paper investigates the persuasion strategies of LLMs, comparing them with human-generated arguments. Using a dataset of 1,251 participants in an experiment, we analyze the persuasion strategies of LLM-generated and human-generated arguments using measures of cognitive effort (lexical and grammatical complexity) and moral-emotional language (sentiment and moral analysis). The study reveals that LLMs produce arguments that require higher cognitive effort, exhibiting more complex grammatical and lexical structures than human counterparts. Additionally, LLMs demonstrate a significant propensity to engage more deeply with moral language, utilizing both positive and negative moral foundations more frequently than humans. In contrast with previous research, no significant difference was found in the emotional content produced by LLMs and humans. These findings contribute to the discourse on AI and persuasion, highlighting the dual potential of LLMs to both enhance and undermine informational integrity through communication strategies for digital persuasion.