Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks
作者: Xu Zheng, Zihao Dongfang, Lutao Jiang, Boyuan Zheng, Yulong Guo, Zhenquan Zhang, Giuliano Albanese, Runyi Yang, Mengjiao Ma, Zixin Zhang, Chenfei Liao, Dingcheng Zhen, Yuanhuiyi Lyu, Yuqian Fu, Bin Ren, Linfeng Zhang, Danda Pani Paudel, Nicu Sebe, Luc Van Gool, Xuming Hu
分类: cs.CV
发布日期: 2025-10-29 (更新: 2025-11-02)
🔗 代码/项目: GITHUB
💡 一句话要点
综述多模态空间推理大模型，并构建开放基准评测
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 空间推理 大型语言模型 具身智能 视觉语言导航 开放基准 场景理解 三维空间
📋 核心要点
- 现有大型多模态模型在空间推理任务上缺乏系统的评测基准，阻碍了该领域的发展和模型性能的有效比较。
- 本研究通过对多模态空间推理任务进行全面的综述，并构建开放基准，旨在促进该领域的研究和发展。
- 该综述涵盖了2D、3D空间推理、具身智能以及新兴模态如音频和自中心视频，为研究者提供了全面的参考。
📝 摘要（中文）
人类具备空间推理能力，可以通过视觉和听觉等多模态观察来理解空间。大型多模态推理模型通过学习感知和推理扩展了这些能力，并在各种空间任务中表现出良好的性能。然而，针对这些模型的系统性综述和公开基准仍然有限。本综述全面回顾了使用大型模型进行多模态空间推理的任务，对多模态大型语言模型（MLLM）的最新进展进行了分类，并介绍了用于评估的开放基准。我们首先概述了一般的空间推理，重点关注后训练技术、可解释性和架构。除了经典的2D任务外，我们还研究了空间关系推理、场景和布局理解，以及3D空间中的视觉问答和定位。我们还回顾了具身智能的进展，包括视觉语言导航和动作模型。此外，我们还考虑了新兴的模态，如音频和以自我为中心的视频，这些模态通过新的传感器促进了新的空间理解。我们相信本综述为多模态空间推理这一不断发展的领域奠定了坚实的基础，并提供了深刻的见解。关于本综述的更新信息、代码和开放基准的实现可以在https://github.com/zhengxuJosh/Awesome-Spatial-Reasoning找到。
🔬 方法详解
问题定义：现有的大型多模态模型在空间推理任务上取得了显著进展，但缺乏统一的评估标准和公开可用的基准数据集。这使得研究人员难以客观地比较不同模型的性能，也限制了该领域的进一步发展。此外，现有的研究往往集中在视觉模态上，忽略了其他模态（如音频、触觉等）在空间推理中的作用。
核心思路：本研究的核心思路是系统性地梳理多模态空间推理任务，并构建一个全面的开放基准，用于评估和比较不同模型的性能。通过对现有研究进行分类和总结，本研究旨在为研究人员提供一个清晰的框架，并促进多模态空间推理领域的发展。同时，本研究也关注新兴模态在空间推理中的作用，并探讨如何将这些模态融入到现有的模型中。
技术框架：本研究的技术框架主要包括以下几个部分：1) 对多模态空间推理任务进行分类，包括空间关系推理、场景和布局理解、视觉问答和定位等；2) 回顾现有的多模态大型语言模型（MLLM），并分析其在空间推理任务上的表现；3) 构建一个开放基准，包括多个数据集和评估指标，用于评估不同模型的性能；4) 探讨新兴模态（如音频、自中心视频）在空间推理中的作用。
关键创新：本研究的关键创新在于：1) 首次对多模态空间推理任务进行了全面的综述，并提供了一个清晰的分类框架；2) 构建了一个开放基准，为研究人员提供了一个统一的评估平台；3) 关注新兴模态在空间推理中的作用，并探讨如何将这些模态融入到现有的模型中。与现有方法相比，本研究更加系统和全面，并关注了新兴模态在空间推理中的作用。
关键设计：本研究的关键设计包括：1) 数据集的选择：选择了涵盖不同空间推理任务和模态的数据集，以保证基准的全面性；2) 评估指标的选择：选择了能够反映模型在不同方面的性能的评估指标，如准确率、召回率、F1值等；3) 模型选择：选择了具有代表性的多模态大型语言模型（MLLM），以保证评估的有效性。
📊 实验亮点
该综述整理了多模态空间推理领域的最新进展，并构建了开放基准，为研究人员提供了一个统一的评估平台。通过该基准，研究人员可以更方便地比较不同模型的性能，并促进该领域的发展。该综述还关注了新兴模态在空间推理中的作用，为未来的研究方向提供了新的思路。
🎯 应用场景
该研究成果可广泛应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。通过提升模型对多模态空间信息的理解能力，可以使机器人在复杂环境中更好地感知和交互，从而实现更智能化的应用。
📄 摘要（原文）
Humans possess spatial reasoning abilities that enable them to understand spaces through multimodal observations, such as vision and sound. Large multimodal reasoning models extend these abilities by learning to perceive and reason, showing promising performance across diverse spatial tasks. However, systematic reviews and publicly available benchmarks for these models remain limited. In this survey, we provide a comprehensive review of multimodal spatial reasoning tasks with large models, categorizing recent progress in multimodal large language models (MLLMs) and introducing open benchmarks for evaluation. We begin by outlining general spatial reasoning, focusing on post-training techniques, explainability, and architecture. Beyond classical 2D tasks, we examine spatial relationship reasoning, scene and layout understanding, as well as visual question answering and grounding in 3D space. We also review advances in embodied AI, including vision-language navigation and action models. Additionally, we consider emerging modalities such as audio and egocentric video, which contribute to novel spatial understanding through new sensors. We believe this survey establishes a solid foundation and offers insights into the growing field of multimodal spatial reasoning. Updated information about this survey, codes and implementation of the open benchmarks can be found at https://github.com/zhengxuJosh/Awesome-Spatial-Reasoning.