NegotiationToM: A Benchmark for Stress-testing Machine Theory of Mind on Negotiation Surrounding

📄 arXiv: 2404.13627v3 📥 PDF

作者: Chunkit Chan, Cheng Jiayang, Yauwai Yim, Zheye Deng, Wei Fan, Haoran Li, Xin Liu, Hongming Zhang, Weiqi Wang, Yangqiu Song

分类: cs.CL, cs.AI

发布日期: 2024-04-21 (更新: 2024-10-05)

备注: Accepted to EMNLP 2024 findings. Dataset: https://github.com/HKUST-KnowComp/NegotiationToM

💡 一句话要点

提出NegotiationToM以评估机器的理论心智在谈判中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 理论心智 大型语言模型 谈判场景 实证实验 人机交互 BDI模型 心理状态评估

📋 核心要点

  1. 现有的理论心智评估方法主要依赖机器生成的数据，缺乏对真实人际互动的考察，导致评估结果的有效性受到质疑。
  2. 论文提出NegotiationToM基准，旨在通过真实的谈判场景来评估机器的理论心智能力，涵盖多维心理状态。
  3. 实验证明，NegotiationToM对当前最先进的LLMs构成挑战，模型表现显著低于人类，尤其是在使用思维链方法时。

📝 摘要（中文）

大型语言模型（LLMs）引发了关于其潜在的理论心智（ToM）能力的广泛关注与讨论。目前的理论心智评估主要集中在使用机器生成数据或容易产生捷径和虚假相关性的游戏设置上，缺乏对机器在真实人际互动场景中ToM能力的评估。因此，迫切需要开发新的真实场景基准。我们提出了NegotiationToM，一个旨在压力测试机器ToM在真实谈判环境中的基准，涵盖多维心理状态（如愿望、信念和意图）。我们的基准基于信念-愿望-意图（BDI）代理建模理论，并进行了必要的实证实验以评估大型语言模型。研究结果表明，NegotiationToM对最先进的LLMs构成挑战，因为它们的表现明显低于人类，即使采用了思维链（CoT）方法。

🔬 方法详解

问题定义：论文要解决的问题是如何有效评估机器在真实人际互动中的理论心智能力。现有方法主要依赖于机器生成的数据，缺乏真实场景的考量，导致评估结果的可靠性不足。

核心思路：论文的核心思路是构建NegotiationToM基准，通过真实的谈判场景来测试机器的理论心智能力，涵盖多维心理状态（如愿望、信念和意图），以此提供更具挑战性的评估标准。

技术框架：整体架构包括基于信念-愿望-意图（BDI）模型的设计，首先定义多维心理状态，然后通过实证实验对大型语言模型进行评估，最后分析模型在谈判场景中的表现。

关键创新：最重要的技术创新点在于引入真实谈判场景作为评估基准，突破了以往依赖机器生成数据的局限，提供了更具现实意义的评估方法。

关键设计：在设计中，采用了多维心理状态的定义，设置了相应的评估指标，并使用了思维链（CoT）方法来引导模型推理过程，确保评估的全面性和深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前最先进的LLMs在NegotiationToM基准上的表现显著低于人类，尤其是在使用思维链（CoT）方法时，模型的表现仍然存在明显差距。这表明，NegotiationToM基准对机器的理论心智能力提出了更高的要求，具有重要的研究价值。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能代理系统和谈判机器人等。通过提升机器的理论心智能力，可以使其在复杂的社交场景中更好地理解和响应人类的需求，从而提高交互的自然性和有效性。未来，该基准可能推动更智能的对话系统和自动化谈判工具的发展。

📄 摘要（原文）

Large Language Models (LLMs) have sparked substantial interest and debate concerning their potential emergence of Theory of Mind (ToM) ability. Theory of mind evaluations currently focuses on testing models using machine-generated data or game settings prone to shortcuts and spurious correlations, which lacks evaluation of machine ToM ability in real-world human interaction scenarios. This poses a pressing demand to develop new real-world scenario benchmarks. We introduce NegotiationToM, a new benchmark designed to stress-test machine ToM in real-world negotiation surrounding covered multi-dimensional mental states (i.e., desires, beliefs, and intentions). Our benchmark builds upon the Belief-Desire-Intention (BDI) agent modeling theory and conducts the necessary empirical experiments to evaluate large language models. Our findings demonstrate that NegotiationToM is challenging for state-of-the-art LLMs, as they consistently perform significantly worse than humans, even when employing the chain-of-thought (CoT) method.