ToMBench: Benchmarking Theory of Mind in Large Language Models
作者: Zhuang Chen, Jincenzi Wu, Jinfeng Zhou, Bosi Wen, Guanqun Bi, Gongyao Jiang, Yaru Cao, Mengting Hu, Yunghwei Lai, Zexuan Xiong, Minlie Huang
分类: cs.CL, cs.AI
发布日期: 2024-02-23 (更新: 2024-12-08)
备注: ACL 2024
💡 一句话要点
提出ToMBench以解决大语言模型的心智理论评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心智理论 大型语言模型 评估框架 社会认知 自动化评估 数据管理 多项选择题 双语清单
📋 核心要点
- 现有的心智理论评估方法存在范围有限、主观性强和数据污染等问题，导致评估结果不够准确。
- 论文提出ToMBench，一个系统的评估框架，包含8个任务和31种能力，采用多项选择题格式以实现自动化评估。
- 通过ToMBench的实验，发现当前最先进的LLMs在ToM表现上仍落后于人类，提升了对LLMs能力评估的有效性。
📝 摘要（中文）
心智理论（ToM）是指感知和归因于自己及他人心理状态的认知能力。近期研究引发了关于大型语言模型（LLMs）是否展现某种形式的ToM的讨论。然而，现有的ToM评估受到范围有限、主观判断和意外污染等挑战的制约，导致评估结果不足。为了解决这一问题，我们提出了ToMBench，具有三个关键特征：一个系统的评估框架，涵盖8个任务和31种社会认知能力；多项选择题格式以支持自动化和无偏见的评估；从零开始构建的双语清单以严格避免数据泄露。基于ToMBench，我们对10个流行的LLMs在任务和能力上的ToM表现进行了广泛实验，发现即使是最先进的LLMs如GPT-4，其表现仍落后于人类10个百分点以上，表明LLMs尚未达到人类水平的心智理论。我们的目标是通过ToMBench实现对LLMs ToM能力的高效评估，从而促进具备内在社会智能的LLMs的发展。
🔬 方法详解
问题定义：本论文旨在解决当前大型语言模型在心智理论评估中的不足，现有方法受限于评估范围、主观判断和数据污染，导致评估结果不够全面和客观。
核心思路：提出ToMBench作为一个全面的评估框架，通过系统化的任务设计和多项选择题格式，确保评估的客观性和自动化，避免数据泄露。
技术框架：ToMBench包含三个主要模块：1) 任务设计，涵盖8个任务和31种能力；2) 评估格式，采用多项选择题以支持自动化评估；3) 数据管理，构建双语清单以防止数据泄露。
关键创新：ToMBench的创新在于其系统化的评估框架和双语清单设计，显著提高了评估的客观性和准确性，与现有方法相比，避免了主观性和数据污染的问题。
关键设计：在任务设计中，明确了每个任务的目标和评估标准；多项选择题的设计确保了评估的自动化；双语清单的构建则严格控制了数据来源，避免了潜在的偏见。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前最先进的LLMs如GPT-4在心智理论评估中表现仍落后于人类超过10个百分点。这一发现强调了LLMs在社会认知能力方面的不足，为未来的研究指明了方向。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、人工智能教育和社交机器人等。通过准确评估LLMs的心智理论能力，可以推动更具社会智能的AI系统的开发，提升人机交互的自然性和有效性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Theory of Mind (ToM) is the cognitive capability to perceive and ascribe mental states to oneself and others. Recent research has sparked a debate over whether large language models (LLMs) exhibit a form of ToM. However, existing ToM evaluations are hindered by challenges such as constrained scope, subjective judgment, and unintended contamination, yielding inadequate assessments. To address this gap, we introduce ToMBench with three key characteristics: a systematic evaluation framework encompassing 8 tasks and 31 abilities in social cognition, a multiple-choice question format to support automated and unbiased evaluation, and a build-from-scratch bilingual inventory to strictly avoid data leakage. Based on ToMBench, we conduct extensive experiments to evaluate the ToM performance of 10 popular LLMs across tasks and abilities. We find that even the most advanced LLMs like GPT-4 lag behind human performance by over 10% points, indicating that LLMs have not achieved a human-level theory of mind yet. Our aim with ToMBench is to enable an efficient and effective evaluation of LLMs' ToM capabilities, thereby facilitating the development of LLMs with inherent social intelligence.