Long-Horizon Dialogue Understanding for Role Identification in the Game of Avalon with Large Language Models
作者: Simon Stepputtis, Joseph Campbell, Yaqi Xie, Zhengyang Qi, Wenxin Sharon Zhang, Ruiyi Wang, Sanketh Rangreji, Michael Lewis, Katia Sycara
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-11-09
备注: Accepted to the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP, Findings of the Association for Computational Linguistics)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出长时间对话理解方法以识别阿瓦隆游戏中的角色
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间对话理解 社交推理 大型语言模型 多模态整合 欺骗与说服 数据集构建 阿瓦隆游戏
📋 核心要点
- 现有大型语言模型在处理长时间多方对话中的欺骗和说服时表现不佳，难以准确识别参与者的真实意图。
- 论文提出通过社交推理游戏阿瓦隆构建在线测试平台和数据集，利用长时间对话分析玩家的目标和动机。
- 实验结果表明，现有LLM未能达到人类的表现，验证了数据集在评估语言处理能力方面的有效性。
📝 摘要（中文）
欺骗和说服在多方参与的长时间对话中扮演着关键角色，尤其是在参与者的利益、目标和动机不一致时。这些复杂任务对当前的大型语言模型（LLM）提出了挑战，因为欺骗和说服容易误导它们，尤其是在长时间的多方对话中。为此，我们探索了社交推理游戏阿瓦隆：抵抗者，在该游戏中，玩家必须确定彼此的隐藏身份以完成团队目标。我们引入了一个在线测试平台和一个包含20场精心收集和标注的人类玩家游戏的数据集，展示了在合作-竞争环境中长时间的欺骗行为。我们讨论了LLM利用六名玩家之间的欺骗性长时间对话来确定每个玩家的目标和动机的能力，特别是讨论了玩家之间聊天与游戏状态的多模态整合，为真实玩家身份提供了进一步的洞察。我们发现，即使是当前最先进的LLM也未能达到人类的表现，使我们的数据集成为研究LLM决策和语言处理能力的有力基准。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在长时间多方对话中识别欺骗和说服行为的能力不足，现有方法在处理复杂的社交推理任务时存在显著局限性。
核心思路：通过引入阿瓦隆游戏作为测试场景，利用游戏中的长时间对话数据，分析玩家之间的互动，以识别其隐藏身份和动机。此设计旨在通过真实的社交推理场景提升模型的理解能力。
技术框架：整体架构包括数据收集、标注、模型训练和评估四个主要模块。首先，收集包含长时间对话的游戏数据，然后进行标注，接着训练LLM以识别玩家身份，最后通过对比实验评估模型性能。
关键创新：本研究的创新点在于构建了一个专门针对长时间对话的社交推理数据集，并通过多模态整合玩家聊天与游戏状态，提升了对话理解的深度和准确性。与现有方法相比，该方法更贴近真实的社交互动场景。
关键设计：在模型训练中，采用了特定的损失函数以优化对话理解能力，并设计了多层次的网络结构以处理多模态输入，确保模型能够有效整合不同来源的信息。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最先进的LLM在阿瓦隆游戏中的表现未能达到人类水平，验证了数据集的有效性和重要性。该数据集为后续研究提供了一个有力的基准，促进了对决策和语言处理能力的深入探讨。
🎯 应用场景
该研究的潜在应用领域包括社交机器人、在线游戏分析和人机交互等。通过提升大型语言模型在复杂对话中的理解能力，可以为多方互动场景提供更智能的支持，推动相关技术的发展与应用。
📄 摘要（原文）
Deception and persuasion play a critical role in long-horizon dialogues between multiple parties, especially when the interests, goals, and motivations of the participants are not aligned. Such complex tasks pose challenges for current Large Language Models (LLM) as deception and persuasion can easily mislead them, especially in long-horizon multi-party dialogues. To this end, we explore the game of Avalon: The Resistance, a social deduction game in which players must determine each other's hidden identities to complete their team's objective. We introduce an online testbed and a dataset containing 20 carefully collected and labeled games among human players that exhibit long-horizon deception in a cooperative-competitive setting. We discuss the capabilities of LLMs to utilize deceptive long-horizon conversations between six human players to determine each player's goal and motivation. Particularly, we discuss the multimodal integration of the chat between the players and the game's state that grounds the conversation, providing further insights into the true player identities. We find that even current state-of-the-art LLMs do not reach human performance, making our dataset a compelling benchmark to investigate the decision-making and language-processing capabilities of LLMs. Our dataset and online testbed can be found at our project website: https://sstepput.github.io/Avalon-NLU/