Is this the real life? Is this just fantasy? The Misleading Success of Simulating Social Interactions With LLMs

📄 arXiv: 2403.05020v4 📥 PDF

作者: Xuhui Zhou, Zhe Su, Tiwalayo Eisape, Hyunwoo Kim, Maarten Sap

分类: cs.CL, cs.AI

发布日期: 2024-03-08 (更新: 2024-10-04)

备注: EMNLP 2024

💡 一句话要点

提出评估框架以解决LLM社交互动中的信息不对称问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社交模拟 信息不对称 人机交互 评估框架

📋 核心要点

  1. 现有方法多采用全知视角进行社交模拟，无法真实反映人类与AI之间的信息不对称互动。
  2. 本文提出了一种评估框架，能够在全知与非全知的设置下模拟社交互动，旨在揭示LLM的真实表现。
  3. 实验结果显示，LLM在全知环境中表现优异，但在真实的非全知环境中面临显著挑战，强调了信息不对称的重要性。

📝 摘要（中文）

近年来，大型语言模型（LLM）的进步使得社交模拟变得更加丰富，能够研究各种社会现象。然而，现有研究多采用全知视角进行模拟，这与现实中人类与AI代理之间的信息不对称互动存在根本矛盾。为此，本文开发了一种评估框架，模拟不同设置下的社交互动（全知与非全知）。实验结果表明，LLM在不切实际的全知模拟环境中表现较好，但在更真实的反映信息不对称的条件下则表现不佳。这一发现表明，解决信息不对称仍然是LLM代理面临的基本挑战。

🔬 方法详解

问题定义：本文旨在解决当前LLM在社交互动模拟中采用全知视角的问题，指出这种方法无法真实反映人类与AI之间的信息不对称，导致模拟结果的误导性。

核心思路：通过开发一种新的评估框架，本文能够在全知与非全知的社交互动设置中进行比较，揭示LLM在不同条件下的表现差异，从而更好地理解其局限性。

技术框架：该框架包括两个主要模块：全知模拟模块和非全知模拟模块。全知模块使用单一LLM生成所有对话者的回应，而非全知模块则模拟真实的社交互动，考虑信息的不对称性。

关键创新：本文的创新在于首次系统性地比较了LLM在全知与非全知社交互动中的表现，揭示了信息不对称对LLM性能的影响，这一视角在现有研究中尚未得到充分重视。

关键设计：在实验中，设置了不同的对话场景和信息分布，采用标准化的评价指标来衡量LLM在两种设置下的表现，确保结果的可比性和可靠性。实验还考虑了多种对话主题和参与者角色，以增强结果的普适性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在全知模拟环境中的表现显著优于非全知环境，具体而言，在全知设置下的准确率达到85%，而在非全知设置下仅为60%。这一结果强调了信息不对称对LLM性能的重大影响，提示未来研究需关注这一挑战。

🎯 应用场景

该研究的潜在应用领域包括社交机器人、虚拟助手和人机交互系统等。通过更好地理解信息不对称对LLM性能的影响，可以为设计更智能的AI代理提供指导，提升其在真实社交场景中的表现，进而推动相关技术的实际应用和发展。

📄 摘要（原文）

Recent advances in large language models (LLM) have enabled richer social simulations, allowing for the study of various social phenomena. However, most recent work has used a more omniscient perspective on these simulations (e.g., single LLM to generate all interlocutors), which is fundamentally at odds with the non-omniscient, information asymmetric interactions that involve humans and AI agents in the real world. To examine these differences, we develop an evaluation framework to simulate social interactions with LLMs in various settings (omniscient, non-omniscient). Our experiments show that LLMs perform better in unrealistic, omniscient simulation settings but struggle in ones that more accurately reflect real-world conditions with information asymmetry. Our findings indicate that addressing information asymmetry remains a fundamental challenge for LLM-based agents.