LLMs Among Us: Generative AI Participating in Digital Discourse

📄 arXiv: 2402.07940v1 📥 PDF

作者: Kristina Radivojevic, Nicholas Clark, Paul Brenner

分类: cs.HC, cs.AI, cs.CY, cs.SI

发布日期: 2024-02-08

💡 一句话要点

提出LLMs参与数字话语以解决社交媒体中的偏见与隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社交媒体 身份识别 实验框架 用户交互 偏见与隐私 数字话语

📋 核心要点

  1. 核心问题：现有社交媒体平台中，LLMs的参与可能导致偏见和隐私问题，且难以识别机器人与人类的身份。
  2. 方法要点：论文提出了一个实验框架，使人类和机器人在不知身份的情况下进行交流，以评估LLMs的伪装能力。
  3. 实验或效果：实验结果显示，参与者仅以42%的准确率识别其他用户身份，角色选择对人类感知影响显著。

📝 摘要（中文）

大型语言模型（LLMs）的出现有潜力重塑许多社交媒体平台的格局。尽管这带来了许多机遇，但也引发了偏见和隐私等问题，并可能助长恶意行为者传播宣传。我们在Mastodon社交媒体平台上开发了“LLMs Among Us”实验框架，使机器人和人类参与者在不知晓彼此身份的情况下进行交流。我们构建了10个角色，使用了GPT-4、LLama 2 Chat和Claude三种不同的LLM。实验结果显示，参与者在识别其他用户身份时的正确率仅为42%，尽管他们知道存在机器人和人类。此外，角色选择对人类感知的影响远大于主流LLM的选择。

🔬 方法详解

问题定义：本研究旨在解决社交媒体中大型语言模型（LLMs）参与带来的身份识别难题，现有方法未能有效应对机器人与人类的混合交流所引发的偏见和隐私问题。

核心思路：通过构建一个实验框架，使参与者在不知晓身份的情况下进行交流，评估LLMs在伪装成普通用户方面的能力，从而揭示其在社交媒体中的潜在影响。

技术框架：整体架构包括三个主要阶段：1) 角色构建，使用不同的LLMs生成10个虚拟角色；2) 实验实施，参与者在Mastodon平台上进行交流；3) 数据收集与分析，通过问卷调查评估参与者的识别能力。

关键创新：该研究的创新点在于设计了一个无身份识别的实验环境，能够真实反映LLMs在社交媒体中的表现，且角色选择对人类感知的影响显著。

关键设计：在实验中，使用了三种不同的LLM（GPT-4、LLama 2 Chat、Claude），并通过构建多样化的角色来测试其对人类参与者的影响，确保实验的多样性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，参与者在识别其他用户身份时的准确率仅为42%，显示出LLMs在伪装成普通用户方面的高效性。此外，角色选择对人类感知的影响显著，表明在设计LLMs时需考虑角色特征。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容生成、用户交互设计和在线社区管理。通过理解LLMs在数字话语中的作用，可以更好地设计防范措施，减少偏见和隐私问题，提升用户体验。未来，研究成果可能推动社交媒体平台的政策制定和技术改进。

📄 摘要（原文）

The emergence of Large Language Models (LLMs) has great potential to reshape the landscape of many social media platforms. While this can bring promising opportunities, it also raises many threats, such as biases and privacy concerns, and may contribute to the spread of propaganda by malicious actors. We developed the "LLMs Among Us" experimental framework on top of the Mastodon social media platform for bot and human participants to communicate without knowing the ratio or nature of bot and human participants. We built 10 personas with three different LLMs, GPT-4, LLama 2 Chat, and Claude. We conducted three rounds of the experiment and surveyed participants after each round to measure the ability of LLMs to pose as human participants without human detection. We found that participants correctly identified the nature of other users in the experiment only 42% of the time despite knowing the presence of both bots and humans. We also found that the choice of persona had substantially more impact on human perception than the choice of mainstream LLMs.