OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping

📄 arXiv: 2607.00881v1 📥 PDF

作者: Xudong Li, Mengdan Zhang, Peixian Chen, Jiaxi Tan, Zihao Huang, Jingyuan Zheng, Yan Zhang, Xiawu Zheng, Xing Sun, Rongrong Ji

分类: cs.CV

发布日期: 2026-07-01

💡 一句话要点

提出OmniView-Space以解决多模态大语言模型的空间推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 多模态大语言模型 自我中心推理 多视角空间映射 认知图蒸馏 复杂查询处理 环境理解

📋 核心要点

  1. 现有方法在多步空间推理中表现不佳，尤其是在复杂查询中动态重新锚定证据时。
  2. 提出OmniView-Space框架，通过多模态自我中心证据维持空间一致性，包含MPSM、工具引导推理和认知图蒸馏三大组件。
  3. 实验结果显示，OmniView-Space在空间推理基准上达到了最先进的性能，并减少了对外部几何管道的依赖。

📝 摘要（中文）

空间智能一直是多模态大语言模型（MLLMs）面临的挑战，因为它需要超越基本物体识别的连贯空间场景表示。现有方法通常通过文本推理或3D重建来构建这些表示，但在多步推理时常常出现问题，尤其是在需要动态重新锚定证据到特定的相机、物体或方向参考框架时。为了解决这一问题，本文提出了OmniView-Space框架，通过多模态自我中心证据来维持空间一致性。该方法包括三个核心组件：多视角空间映射（MPSM）、工具引导的自我中心推理和认知图蒸馏。实验结果表明，OmniView-Space在单图和多图空间推理基准上实现了最先进的性能，同时减少了对外部几何管道的依赖。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在空间推理中的不足，尤其是在复杂查询中动态重新锚定证据的挑战。现有方法在多步推理时常常无法保持空间一致性，导致推理结果不准确。

核心思路：论文提出的OmniView-Space框架通过多模态自我中心证据来维持空间一致性，设计了多视角空间映射（MPSM）来对齐视觉认知图和文本空间图，从而增强空间推理能力。

技术框架：OmniView-Space框架由三个主要模块组成：多视角空间映射（MPSM）、工具引导的自我中心推理和认知图蒸馏。MPSM负责将重建的几何体重新锚定到查询对齐的视觉认知图中；工具引导的推理模块则根据查询选择所需的自我中心锚点；认知图蒸馏模块利用MPSM生成的轨迹和自我框架奖励来训练模型。

关键创新：最重要的技术创新在于引入了多视角空间映射（MPSM）和工具引导的自我中心推理，这使得模型能够在复杂查询中动态选择和请求所需的证据，显著提升了空间推理的准确性和一致性。

关键设计：在模型训练中，采用了特定的损失函数来优化MPSM生成的空间图和认知图的对齐，同时设计了奖励机制来引导模型学习自我生成的认知图，从而增强推理能力。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OmniView-Space在单图和多图空间推理基准上达到了最先进的性能，相较于现有方法，性能提升幅度显著，尤其是在复杂查询的处理上表现优异，减少了对外部几何管道的依赖。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等需要复杂空间推理的场景。通过提升多模态大语言模型的空间推理能力，OmniView-Space能够在实际应用中提供更准确的环境理解和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Spatial intelligence remains a persistent challenge for Multimodal Large Language Models (MLLMs), as it requires coherent spatial scene representations beyond basic object recognition. Existing methods typically build such representations through textual reasoning or 3D reconstruction. However, they often falter during multi-step reasoning, particularly when required to dynamically re-anchor evidence to the specific camera-, object-, or direction-centric reference frames demanded by complex queries. To address this, we propose OmniView-Space, a framework designed to maintain spatial consistency through multimodal egocentric evidence. Our approach consists of three core components: (1) Multi-Perspective Spatial Mapping (MPSM), which re-anchors reconstructed geometry into a query-aligned visual cognitive map and a textual spatial graph; (2) Tool-Guided Egocentric Reasoning, an interleaved policy trained to actively select the ego anchor required by the query and request the corresponding MPSM evidence; and (3) Cognitive-Map Distillation, which uses MPSM-generated trajectories and ego-frame rewards to train the model to reason with self-generated cognitive maps. Experiments on single- and multi-image spatial reasoning benchmarks show that OmniView-Space achieves state-of-the-art performance. Furthermore, the distilled model maintains this performance while reducing reliance on external geometry pipelines.