SpatioLM: Towards General Physical Spatial Intelligence in Vision-Language Models
作者: Jing Wu, Jianhua Wu, Jiayi Guan, Jiahong Chen, Jinghui Lu, Hangjun Ye, Bingzhao Gao, Long Chen
分类: cs.CV, cs.CL, cs.LG
发布日期: 2026-08-03
备注: 27 pages,13 figures,16 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出SpatioLM以解决视觉语言模型的空间推理问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉语言模型 空间推理 深度学习 多模态学习 机器人导航 增强现实 虚拟现实
📋 核心要点
- 现有视觉语言模型在空间推理方面表现不佳，通常依赖额外的3D信息，导致复杂性增加和通用能力下降。
- 本文提出SpatioLM，通过设计非侵入式的空间视觉模块，激发模型内在的空间知识，无需额外的3D输入。
- 实验结果显示，SpatioLM在多项空间感知任务中取得显著提升，VSI-Bench得分71.6，且在具身操作任务中表现竞争力。
📝 摘要（中文）
视觉语言模型（VLMs）在常识推理任务中表现良好，但在视觉空间推理方面存在困难。现有解决方案通常需要额外的3D先验输入或外部空间编码器，这增加了复杂性并降低了VLMs的通用能力。为此，本文提出了一种参数高效的Spatio-vision Language Models（SpatioLM），在无需额外3D先验输入或第三方空间编码器的情况下增强空间智能。具体而言，我们设计了一个即插即用的非侵入式空间视觉模块，激发VLMs中固有的空间知识。此外，我们创新性地利用伪深度和相机信息作为监督，指导模型学习物理一致的表示。大量实验表明，SpatioLM在空间感知和理解等多项任务中显著提升，同时有效限制了通用能力的下降。该模型在VSI-Bench上取得了71.6的优异成绩，是首个超过70的模型，并在迁移到具身操作任务时表现出竞争力。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在空间推理方面的不足，现有方法通常依赖于额外的3D输入或外部编码器，导致模型复杂性增加和通用能力下降。
核心思路：SpatioLM通过设计一个非侵入式的空间视觉模块，激发模型内在的空间知识，从而增强其空间智能，而无需额外的3D先验输入。
技术框架：SpatioLM的整体架构包括一个空间视觉模块，该模块与现有的VLMs无缝集成，利用伪深度和相机信息作为监督信号，指导模型学习物理一致的表示。
关键创新：最重要的创新点在于提出了一个无需额外3D输入的空间视觉模块，这与现有方法的依赖性形成鲜明对比，显著降低了模型的复杂性。
关键设计：在设计中，模型利用伪深度信息和相机参数作为监督信号，采用特定的损失函数来优化空间表示的学习过程，确保模型在空间推理任务中的有效性。
🖼️ 关键图片
📊 实验亮点
SpatioLM在VSI-Bench上取得了71.6的得分，成为首个超过70的模型，显示出其在空间推理任务中的卓越性能。此外，该模型在迁移到具身操作任务时也展现出竞争力，表明其广泛的适用性和有效性。
🎯 应用场景
SpatioLM的研究成果在多个领域具有潜在应用价值，包括机器人导航、自动驾驶、增强现实和虚拟现实等。通过提升视觉语言模型的空间推理能力，该模型可以更好地理解和处理复杂的物理环境，推动智能系统的进一步发展。
📄 摘要（原文）
Vision-Language Models (VLMs) perform well on commonsense reasoning tasks but struggle with visual spatial reasoning. Most existing solutions introduce extra 3D prior inputs or external spatial encoders, which increase complexity and degrade the underlying VLMs' general-purpose capabilities after spatial fine-tuning. To this end, we propose a parameter-efficient \textit{\textbf{Spatio}-vision \textbf{L}anguage \textbf{M}odels (SpatioLM)}, that enhances spatial intelligence without extra 3D prior inputs or third-party spatial encoders. Concretely, we design a plug-and-play and non-invasive spatio-vision module that elicits the spatial knowledge inherent in VLMs. Furthermore, we innovatively leverage pseudo depth and camera information as supervision to guide the model in learning physically coherent representations. Extensive experiments show that SpatioLM achieves significant improvements in diverse tasks, including spatial perception and understanding while effectively limiting the degradation of general capabilities. Notably, the model achieves an impressive score of 71.6 on the VSI-Bench (the first model to surpass 70). In addition, it attains competitive performance when transferred to embodied manipulation tasks. Code is available at \href{https://github.com/xiaomi-research/spatio-lm}{\faGithub~spatio-lm}.