Multimodal Language Models Cannot Spot Spatial Inconsistencies
作者: Om Khangaonkar, Hadi J. Rad, Hamed Pirsiavash
分类: cs.CV, cs.CL, cs.LG
发布日期: 2026-04-01
💡 一句话要点
提出多视角空间一致性评估方法，揭示多模态大语言模型在3D推理上的不足
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 空间一致性 3D推理 多视角学习 物理世界理解
📋 核心要点
- 现有MLLM在理解物理现实，特别是跨视角3D几何推理方面存在不足，难以保证空间一致性。
- 论文提出一种新颖的评估方法，通过生成空间不一致的图像对，考察模型识别3D运动一致性违例的能力。
- 实验表明，现有MLLM在空间一致性判断上远逊于人类，且性能受场景属性影响大，表明3D理解能力不足。
📝 摘要（中文）
空间一致性是视觉世界的基本属性，也是旨在理解物理现实的模型的关键要求。尽管最近取得了进展，但多模态大语言模型（MLLM）在跨多个视图进行3D几何推理时常常遇到困难。本文没有要求模型描述场景属性，而是引入了一项更具挑战性的任务：给定同一场景的两个视图，识别违反3D运动一致性的对象。我们提出了一种简单且可扩展的方法，用于从多视图场景生成逼真的、空间上不一致的图像对，从而能够系统地评估这种能力。结果表明，最先进的MLLM的性能明显低于人类观察者，并且在不同的场景属性中表现出很大的差异，揭示了对3D结构的不完整和脆弱的理解。我们希望我们的发现强调需要开发对物理世界有更深刻理解的方法。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLM）在理解和推理3D空间几何结构时存在的不足，特别是缺乏跨视角空间一致性的判断能力。现有方法通常侧重于让模型描述场景属性，无法有效评估模型对物理世界深层次的理解。因此，如何系统性地评估MLLM在多视角下的3D空间推理能力成为一个关键问题。
核心思路：论文的核心思路是通过构建包含空间不一致性的多视角图像对，来考察MLLM是否能够识别出违反3D运动一致性的对象。这种方法模拟了现实世界中可能出现的物理矛盾，能够更直接地评估模型对3D结构的理解程度。通过比较模型与人类观察者的表现，可以更清晰地了解模型在3D推理方面的差距。
技术框架：论文提出的评估框架主要包含以下几个阶段：1) 多视角场景生成：利用多视角数据集或渲染引擎生成同一场景的不同视角图像。2) 空间不一致性引入：在场景中引入违反3D运动一致性的对象，例如，改变对象的位置或形状，使其在不同视角下呈现出不合理的运动轨迹。3) 图像对构建：将原始图像和包含空间不一致性的图像配对，形成测试样本。4) 模型评估：将图像对输入MLLM，要求模型识别出违反空间一致性的对象。5) 性能分析：比较模型与人类观察者的表现，分析模型在不同场景属性下的性能差异。
关键创新：论文的关键创新在于提出了一种简单且可扩展的方法，用于生成逼真的、空间上不一致的图像对，从而能够系统地评估MLLM在多视角下的3D空间推理能力。与以往侧重于场景描述的评估方法不同，该方法直接考察模型对物理矛盾的识别能力，能够更有效地揭示模型在3D理解方面的不足。
关键设计：论文在生成空间不一致图像对时，需要仔细控制不一致性的程度，以避免过于明显或过于细微的矛盾。此外，为了保证评估的公平性，需要考虑不同场景属性（例如，对象的大小、形状、材质等）对模型性能的影响。具体的实现细节，例如，使用哪些多视角数据集、如何引入空间不一致性、如何设计评估指标等，需要在实验中进行仔细调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前最先进的MLLM在识别空间不一致性方面的表现远低于人类观察者。模型在不同场景属性下的性能差异显著，表明其对3D结构的理解是不完整且脆弱的。例如，模型在处理包含复杂几何形状或遮挡的场景时，性能明显下降。这些结果强调了当前MLLM在3D空间推理方面存在的局限性，并为未来的研究方向提供了重要的启示。
🎯 应用场景
该研究成果可应用于提升机器人导航、自动驾驶和虚拟现实等领域中智能体的环境感知能力。通过提高模型对空间一致性的理解，可以使智能体更好地理解周围环境，从而做出更安全、更合理的决策。此外，该研究也有助于开发更强大的多模态人工智能系统，使其能够更好地理解和交互物理世界。
📄 摘要（原文）
Spatial consistency is a fundamental property of the visual world and a key requirement for models that aim to understand physical reality. Despite recent advances, multimodal large language models (MLLMs) often struggle to reason about 3D geometry across multiple views. Rather than asking models to describe scene attributes, we introduce a more challenging task: given two views of the same scene, identify the object that violates 3D motion consistency. We propose a simple and scalable method for generating realistic, spatially inconsistent image pairs from multi-view scenes, enabling systematic evaluation of this capability. Our results show that state-of-the-art MLLMs significantly underperform human observers and exhibit substantial variability across different scene attributes, revealing a fragile and incomplete understanding of 3D structure. We hope our findings underscore the need for approaches that develop a more deeply grounded understanding of the physical world.