ToM-LM: Delegating Theory of Mind Reasoning to External Symbolic Executors in Large Language Models

📄 arXiv: 2404.15515v3 📥 PDF

作者: Weizhi Tang, Vaishak Belle

分类: cs.CL, cs.AI

发布日期: 2024-04-23 (更新: 2024-06-26)

备注: Accepted at NeSy 2024

💡 一句话要点

提出ToM-LM以解决大型语言模型的心智理论推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心智理论 大型语言模型 符号执行 推理能力 模型检查器 微调技术 自然语言处理

📋 核心要点

  1. 现有大型语言模型在复杂的心智理论推理方面表现不足，难以准确理解和推理他人的心理状态。
  2. 本文提出的ToM-LM方法通过引入外部符号执行器，结合微调技术，增强了LLMs的心智理论推理能力。
  3. 实验结果显示，ToM-LM在多个基线模型上均实现了显著的性能提升，验证了该方法的有效性。

📝 摘要（中文）

心智理论（ToM）指个体将心理状态归因于他人的能力。尽管大型语言模型（LLMs）在ToM能力上展现出一定潜力，但在复杂的ToM推理方面仍存在困难。本文提出一种新方法，利用外部符号执行器SMCDEL模型检查器和微调技术，提升LLMs的ToM推理能力。该方法首先通过自然语言与符号形式的ToM问题对进行微调，然后指示LLM生成符号形式，最后由SMCDEL执行以进行透明且可验证的ToM推理。实验表明，ToM-LM在所有构建的基线模型上均显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂心智理论推理中的不足，尤其是在理解和推理他人信念方面的挑战。现有方法往往无法有效处理复杂的心理状态归因问题。

核心思路：论文的核心思路是将心智理论推理的某些组件外部化，特别是信念推理部分，通过引入外部符号执行器来增强LLMs的推理能力。这样的设计使得推理过程更加透明和可验证。

技术框架：整体架构包括三个主要阶段：首先对LLM进行微调，使用自然语言与符号形式的ToM问题对；其次，LLM在给定的上下文示例下生成符号形式；最后，使用SMCDEL模型检查器执行生成的符号形式以完成推理。

关键创新：最重要的技术创新在于将外部符号执行器与LLM结合，形成了一种新的推理机制。这一方法与传统的内嵌推理机制有本质区别，能够处理更复杂的推理任务。

关键设计：在微调过程中，采用了特定的损失函数以优化LLM对符号形式的生成能力，同时在执行阶段确保符号执行的准确性和可验证性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ToM-LM在所有构建的基线模型上均实现了显著提升，具体性能数据未提供，但提升幅度显著，验证了该方法在心智理论推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、教育辅助工具以及心理状态分析等。通过提升LLMs的心智理论推理能力，可以更好地理解用户意图，提供个性化的响应，进而在多个领域产生实际价值。

📄 摘要（原文）

Theory of Mind (ToM) refers to the ability of individuals to attribute mental states to others. While Large Language Models (LLMs) have shown some promise with ToM ability, they still struggle with complex ToM reasoning. Our approach leverages an external symbolic executor, specifically the SMCDEL model checker, and fine-tuning to improve the ToM reasoning ability of LLMs. In our approach, an LLM is first fine-tuned through pairs of natural language and symbolic formulation representation of ToM problems and is then instructed to generate the symbolic formulation with a one-shot in-context example. The generated symbolic formulation is then executed by the SMCDEL model checker to perform transparent and verifiable ToM reasoning and give the final result. We demonstrate that our approach, ToM-LM, shows a significant improvement over all the constructed baselines. Our study proposes a novel view about externalizing a particular component of ToM reasoning, mainly reasoning about beliefs, and suggests generalizing it to other aspects of ToM reasoning.