Mental World Modeling
作者: Hao Fei, Yiran Zhao
分类: cs.CL
发布日期: 2026-07-29
备注: project website: https://mental-world.github.io/
💡 一句话要点
提出心理世界建模以解决人类决策预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 心理世界建模 人类决策预测 多模态学习 智能代理 行为模拟
📋 核心要点
- 现有世界模型仅关注物理场景，未能考虑人类的心理状态，导致决策预测不准确。
- 提出心理世界建模（MWM）框架，将心理变量作为核心组件，耦合物理与心理状态以提高决策预测能力。
- 在多种现代大语言模型基础上进行实验，结果显示显式建模心理状态显著提升了人类决策的预测准确性。
📝 摘要（中文）
世界模型为规划和行动提供了预测基础，但现有方法仅回答物理问题：它是什么/在哪里，以及如何演变。然而，人类行为受到隐藏心理状态的驱动，因此仅跟踪物理场景而不考虑每个代理的知识和信念会导致错误的行动预测。本文提出心理世界建模（MWM），将心理变量作为世界模型的核心组件，维护耦合的物理-心理世界状态，生成目标特定的部分观察，并模拟候选行动如何共同更新这两个组件。通过在一个手动构建的决策场景数据集上进行实验，结果表明显式建模心理状态对预测人类决策至关重要。
🔬 方法详解
问题定义：本文旨在解决现有世界模型未能考虑人类心理状态的问题，导致在相似场景下预测错误的决策。现有方法主要关注物理特征，忽视了人类的信念、意图和社会规范等心理因素。
核心思路：论文提出心理世界建模（MWM），将心理变量作为世界模型的核心部分，维护一个耦合的物理和心理状态，以便更准确地模拟人类的决策过程。通过这种方式，MWM能够更全面地理解和预测人类行为。
技术框架：MWM框架包括几个主要模块：状态解析、目标观察生成、行动分解、耦合的物理与心理转变，以及分支级别的价值评估。每个模块协同工作，确保模型能够动态更新物理和心理状态。
关键创新：MWM的主要创新在于将心理状态显式纳入世界模型中，而不是作为事后解释。这一设计使得模型能够更准确地预测人类在复杂场景中的决策。
关键设计：在实现MWM时，采用了无训练的基线MENTIS，确保模型的可解释性和透明度。关键设计包括状态解析的细致处理和目标观察生成的精确控制，以便在不同情境下有效评估行动的价值。
🖼️ 关键图片
📊 实验亮点
实验结果表明，显式建模心理状态显著提升了人类决策的预测准确性。在与8种现代大语言模型的对比中，MWM在多个决策场景中表现出更高的预测精度，验证了其在复杂环境下的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括人机交互、智能代理、自动驾驶和社交机器人等。通过更好地理解人类心理状态，MWM能够提升这些系统在复杂环境中的决策能力，进而提高用户体验和安全性。未来，MWM可能会在社会行为模拟和情感计算等领域产生深远影响。
📄 摘要（原文）
World models enable a predictive substrate for planning and action, yet existing formulations merely answer a physical question: what/where it is, and how will it evolve. Human behavior, however, is driven by hidden mental state (what a person believes, wants, intends, feels, and considers socially permissible), so a model that tracks the physical scene but not what each agent knows and believes about it predicts the wrong action for the right-looking scene. We formulate Mental World Modeling (MWM), a generic theoretical framework that makes mental variables core components of a world model rather than posthoc rationales: MWM aintains a coupled physical-mental world state, renders a target-specific partial observation, and simulates how candidate actions jointly update both components. We instantiate the framework in MENTIS, a training-free and fully inspectable baseline that decomposes the process into state parsing, target-observation generation, action decomposition, coupled physical and mental transition, and branch-level value evaluation. On a manually constructed, quality-controlled dataset of situated decision scenarios spanning text, image, and sounding-video stories, experiments with 8 modern LLM-based world models demonstrate that explicitly modeling the mental state is essential for predicting human decisions. Deeper analyses further expose the bottlenecks of current mental world modeling. We expect MWM as a next stage of world modeling, from simulating physical scenes to simulating the minds that act in them.