Who Knows What - and What Does It Support? Perspective-Bounded Evidence Calibration for Multimodal Theory of Mind
作者: Ziqi Liao, Jiaqi Shen, Yiming Na, Kedi Lyu, Shao-Yuan Lo, Hongxia Xie
分类: cs.AI
发布日期: 2026-10-27
💡 一句话要点
提出PIP-ToM以解决多模态心智理论中的证据可接受性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心智理论 多模态推断 证据可接受性 贝叶斯推断 社交智能 人工智能 心理状态推断
📋 核心要点
- 现有的ToM方法未能有效区分代理可接受的证据与不可接触事件，导致推断结果的准确性下降。
- 本文提出PIP-ToM，通过构建代理特定的证据库，确保只有可接触的证据对心理状态假设产生影响。
- PIP-ToM在MuMA-ToM、MMToM-QA和Hi-ToM等基准测试中表现优异，准确率显著高于现有方法。
📝 摘要（中文）
心智理论（ToM）是推断他人信念、目标和意图的能力，是社会智能的基石。多模态ToM要求从代理可用的证据中推断其心理状态，而非从解决者观察到的完整事件中推断。现有的基于大型语言模型和贝叶斯模型的方法未能明确区分客观事件与代理可接受的证据，导致推断的信念和目标受到不可接触事件的影响。为了解决这一问题，本文提出了PIP-ToM，一个证据可接受性接口，构建代理特定的证据库，并与结构化的心理状态声明对齐，从而提高模型的假设评分。PIP-ToM在多个基准测试中表现优异，准确率达到92.56%、95.00%和95.00%。
🔬 方法详解
问题定义：本文旨在解决现有多模态心智理论方法中证据可接受性的问题。现有方法未能区分代理可接受的证据与不可接触事件，导致推断结果受到干扰。
核心思路：论文提出PIP-ToM，通过构建代理特定的证据库，确保只有与代理可接触的证据才能影响心理状态的推断，从而减少推断中的视角泄漏和混淆。
技术框架：PIP-ToM的整体架构包括三个主要模块：证据存储模块、心理状态声明对齐模块和假设评分校准模块。证据存储模块负责构建与代理相关的证据库，心理状态声明对齐模块确保证据与心理状态的结构化对齐，假设评分校准模块则在保持贝叶斯推断过程的基础上，调整模型的假设评分。
关键创新：PIP-ToM的核心创新在于引入了证据可接受性接口，明确区分了可接触证据与不可接触事件，从而提高了推断的准确性和可靠性。这一方法与现有的全局事件重建方法本质上不同。
关键设计：在设计中，PIP-ToM采用了特定的损失函数来优化证据的选择和对齐过程，同时使用了结构化的心理状态声明，以确保模型在推断时能够有效利用可接触证据。
🖼️ 关键图片
📊 实验亮点
PIP-ToM在多个基准测试中表现出色，MuMA-ToM、MMToM-QA和Hi-ToM的平均准确率分别达到了92.56%、95.00%和95.00%，显著高于现有的ToM方法，展示了其在多模态心智理论推断中的有效性。
🎯 应用场景
该研究的潜在应用领域包括社交机器人、虚拟助手和教育技术等，能够帮助这些系统更好地理解和推断用户的心理状态，从而提供更加个性化和人性化的交互体验。未来，该方法可能在心理学研究和人机交互领域产生深远影响。
📄 摘要（原文）
Theory of Mind (ToM), the ability to infer others' beliefs, goals, and intentions, is a cornerstone of social intelligence. Multimodal ToM requires inferring an agent's mental state from evidence that is available to that agent, rather than from the complete episode observed by the solver. Existing LLM-based and Bayesian model-based approaches reconstruct global event traces, yet they do not explicitly distinguish objective events from agent-admissible evidence during hypothesis evaluation. Consequently, agent-inaccessible events or semantically misaligned actions and utterances may influence the inferred belief, goal, or social intention, leading to perspective leakage and source or route confusion. We formulate this limitation as an evidence-admissibility problem: evidence should contribute to a mental-state hypothesis only when it is accessible to the relevant agent, preserves its information source, and is diagnostic of the queried mental-state variable. To operationalize this principle, we propose PIP-ToM, an evidence-admissibility interface that constructs agent-specific evidence stores, aligns them with structured mental-state claims, and calibrates model-based hypothesis scores while preserving the underlying Bayesian inference process. PIP-ToM with GPT-4o outperforms existing ToM methods across MuMA-ToM, MMToM-QA, and Hi-ToM, achieving average accuracies of 92.56%, 95.00%, and 95.00%, respectively.