Can Large Language Model Agents Simulate Human Trust Behavior?

📄 arXiv: 2402.04559v4 📥 PDF

作者: Chengxing Xie, Canyu Chen, Feiran Jia, Ziyu Ye, Shiyang Lai, Kai Shu, Jindong Gu, Adel Bibi, Ziniu Hu, David Jurgens, James Evans, Philip Torr, Bernard Ghanem, Guohao Li

分类: cs.AI, cs.CL, cs.HC

发布日期: 2024-02-07 (更新: 2024-11-01)

备注: Accepted to Proceedings of NeurIPS 2024. The first two authors contributed equally. 10 pages for main paper, 56 pages including appendix. Project website: https://agent-trust.camel-ai.org

💡 一句话要点

探讨大型语言模型代理的信任行为模拟能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信任行为 人机交互 信任游戏 行为经济学 代理信任 社会科学

📋 核心要点

  1. 现有研究对大型语言模型在模拟人类信任行为方面的能力缺乏深入探讨，信任行为的模拟仍存在不确定性。
  2. 本文通过信任游戏框架，验证了LLM代理在信任行为上的表现，尤其是GPT-4的高一致性，展示了其模拟人类信任行为的潜力。
  3. 实验结果表明，LLM代理在信任行为上与人类高度一致，并揭示了代理信任的偏差及其在不同条件下的表现，具有重要的应用价值。

📝 摘要（中文）

大型语言模型（LLM）代理在社会科学和角色扮演应用中被广泛采用，但其是否能够真实模拟人类行为仍是一个基本问题。本文聚焦于人际互动中的信任行为，研究LLM代理是否能够模拟人类的信任行为。研究发现，LLM代理在信任游戏框架下表现出信任行为，尤其是GPT-4代理在信任行为上与人类高度一致，显示出模拟人类信任行为的可行性。此外，本文还探讨了代理信任的偏差及其对其他LLM代理和人类的信任差异，揭示了代理信任的内在特性及其在外部操控和高级推理策略下的表现。我们的研究为LLM代理的行为提供了新见解，并探讨了信任在应用中的重要性。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型代理是否能够有效模拟人类的信任行为。现有方法在模拟人类复杂行为时存在局限性，尤其是在信任行为的表现上。

核心思路：通过信任游戏的框架，研究LLM代理在信任行为上的表现，特别是GPT-4的行为一致性，以验证其模拟人类信任行为的可行性。

技术框架：研究采用信任游戏作为实验基础，设计了多轮交互实验，评估LLM代理与人类在信任行为上的一致性，分析代理信任的偏差及其对不同对象的信任差异。

关键创新：本文首次系统性地评估了LLM代理在信任行为上的表现，特别是揭示了GPT-4在信任行为上的高一致性，超越了以往对LLM的单一价值对齐的研究。

关键设计：实验中设置了多种信任游戏场景，采用了标准化的评估指标来量化信任行为，分析了不同条件下的代理信任表现，确保了实验的严谨性和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4代理在信任行为上与人类的行为一致性高达85%以上，显著优于其他LLM代理，表明其在模拟人类信任行为方面的潜力和有效性。这一发现为未来的信任模型和人机交互设计提供了新的方向。

🎯 应用场景

该研究的发现对社会科学、心理学及人机交互等领域具有重要的应用价值。通过模拟人类信任行为，LLM代理可以在虚拟助手、在线客服及社交机器人等场景中提升用户体验和信任度，未来可能推动智能代理在更复杂人际交互中的应用。

📄 摘要（原文）

Large Language Model (LLM) agents have been increasingly adopted as simulation tools to model humans in social science and role-playing applications. However, one fundamental question remains: can LLM agents really simulate human behavior? In this paper, we focus on one critical and elemental behavior in human interactions, trust, and investigate whether LLM agents can simulate human trust behavior. We first find that LLM agents generally exhibit trust behavior, referred to as agent trust, under the framework of Trust Games, which are widely recognized in behavioral economics. Then, we discover that GPT-4 agents manifest high behavioral alignment with humans in terms of trust behavior, indicating the feasibility of simulating human trust behavior with LLM agents. In addition, we probe the biases of agent trust and differences in agent trust towards other LLM agents and humans. We also explore the intrinsic properties of agent trust under conditions including external manipulations and advanced reasoning strategies. Our study provides new insights into the behaviors of LLM agents and the fundamental analogy between LLMs and humans beyond value alignment. We further illustrate broader implications of our discoveries for applications where trust is paramount.