PICTURE: Enhancing Theory-of-Mind in Large Language Models by Revealing, Not Hiding, Characters' Lack of Knowledge

📄 arXiv: 2608.01598v1 📥 PDF

作者: Eojin Jeon, SangKeun Lee

分类: cs.CL, cs.AI

发布日期: 2026-08-03

💡 一句话要点

提出PICTURE以解决大型语言模型的心智理论问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心智理论 大型语言模型 自然语言处理 事件隐藏 推理能力 自由形式输出 虚假信念任务

📋 核心要点

  1. 现有方法通过事件隐藏进行心智理论推理，但这种方法导致性能下降，且输出格式受限。
  2. 本文提出PICTURE方法，允许生成自由形式的解释，并在推理过程中明确角色的知识缺乏。
  3. 实验结果显示，PICTURE在虚假信念任务上平均提升了7.3%，显著优于传统方法。

📝 摘要（中文）

模拟人类的心智理论（ToM）一直是自然语言处理（NLP）中的一个长期挑战。现有方法通过事件隐藏来进行推理，但这种方法在输出格式上存在严格限制，导致性能下降。为了解决这一问题，本文提出了一种新的提示方法PICTURE，允许生成自由形式的解释，同时明确角色对事件的知识缺乏。实验结果表明，PICTURE在虚假信念任务上平均提升了7.3%的性能，优于现有提示方法。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在心智理论推理中的知识缺乏问题。现有方法依赖事件隐藏，导致性能下降和输出格式限制。

核心思路：提出PICTURE方法，通过生成自由形式的解释，明确角色对事件的知识缺乏，从而提高模型的推理能力。

技术框架：PICTURE方法的整体架构包括输入提示生成、自由形式输出生成和知识缺乏的明确化三个主要模块。

关键创新：PICTURE的核心创新在于不再依赖事件隐藏，而是通过显式化角色的知识缺乏来提升推理效果，这与现有方法形成了本质区别。

关键设计：在参数设置上，PICTURE采用了灵活的提示设计，损失函数则侧重于自由形式输出的准确性，网络结构上保持了大型语言模型的基础架构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PICTURE方法在虚假信念任务上平均提升了7.3%的性能，相较于现有提示方法具有显著优势，验证了该方法在心智理论推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、教育辅助工具和心理学研究等。通过提升大型语言模型的心智理论能力，能够更好地理解和模拟人类的思维过程，进而提高人机交互的自然性和有效性。

📄 摘要（原文）

Simulating human-like Theory of Mind (ToM) has been a longstanding problem in natural language processing (NLP). To address this, existing works introduce a reasoning step of event hiding (a.k.a. perspective-taking), where events unknown to a character are removed before question answering. However, resorting to event hiding for ToM reasoning presents a performance degradation issue due to the strict output format constraints involved in event hiding. To mitigate this issue, we propose generating perspective-taking outputs as free-form explanations without event hiding, but this poses a notable yet underexplored challenge: LLMs need to inhibit responses to events unknown to characters, because the absence of event hiding exposes LLMs to these events throughout reasoning. To address this challenge, we hypothesize and empirically verify that LLMs can achieve such inhibition if a character's lack of knowledge about events is made explicit during reasoning. Based on this finding, we introduce PICTURE, a new prompting method that enables LLMs to generate a character's lack of knowledge within free-form Chain-of-Thought (CoT). Experimental results show that PICTURE outperforms existing prompting methods by an average of 7.3% on false-belief tasks.