Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding

📄 arXiv: 2606.19776v1 📥 PDF

作者: Jianing Li, Zhou Fang, Yijiang Liu, Li Du

分类: cs.CV

发布日期: 2026-06-18

💡 一句话要点

提出Occ-VLM以解决室内场景理解中的3D几何感知问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 3D场景理解 几何感知 多模态学习 室内导航 机器人视觉 增强现实

📋 核心要点

  1. 现有方法通常依赖显式的3D输入或额外的3D几何编码器，导致3D几何感知与2D语义的解耦。
  2. Occ-VLM通过重建3D场景占用信息，利用单一的2D视觉编码器实现3D场景理解，避免了对复杂3D输入的依赖。
  3. 实验结果显示，Occ-VLM在多视角占用预测上达到最先进的性能，并在3D视觉问答和密集标注任务中表现优异。

📝 摘要（中文）

近年来，视觉语言模型（VLMs）在3D场景理解方面取得了显著进展，推动了具身智能和机器人视觉等应用的发展。然而，现有方法通常依赖于显式的3D输入，或引入额外的3D几何编码器，从而导致3D几何感知与通过视觉语言预训练获得的丰富2D语义之间的结构性解耦。为此，本文提出了Occ-VLM，一个纯粹基于RGB图像的3D场景理解框架，利用单一的2D视觉编码器重建3D场景占用信息，进而将前景2D标记与3D空间进行空间关联。这些标记随后被大型语言模型（LLM）解码以实现统一的场景理解。实验表明，Occ-VLM在多视角占用预测上表现出色，并在3D视觉问答和3D密集标注基准上与3D输入的VLMs表现相当。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在3D场景理解中对显式3D输入的依赖问题，导致的几何感知与2D语义的解耦。

核心思路：Occ-VLM通过仅使用RGB图像，重建3D场景的占用信息，利用这一几何先验将前景2D标记与3D空间进行关联，从而实现统一的场景理解。

技术框架：Occ-VLM的整体架构包括一个2D视觉编码器用于处理RGB图像，重建3D占用信息的模块，以及一个大型语言模型用于解码和理解场景信息。

关键创新：Occ-VLM的核心创新在于其能够在没有显式3D输入的情况下，利用2D图像直接进行3D场景理解，克服了传统方法的结构性限制。

关键设计：在设计上，Occ-VLM采用了特定的损失函数来优化3D占用重建的准确性，并通过精心设计的网络结构确保2D标记与3D空间的有效关联。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多视角占用预测任务中，Occ-VLM达到了最先进的性能，超越了现有的基线模型。同时，在3D视觉问答和3D密集标注基准上，Occ-VLM的表现与依赖3D输入的模型相当，显示出其在3D理解中的有效性和鲁棒性。

🎯 应用场景

该研究在室内场景理解、机器人导航和增强现实等领域具有广泛的应用潜力。通过提供一种无需复杂3D输入的解决方案，Occ-VLM能够提升机器人在动态环境中的自主决策能力，并为智能家居系统提供更为精准的环境理解。未来，该方法可能推动更多基于视觉的智能应用的发展。

📄 摘要（原文）

Recently, vision-language models (VLMs) have made significant progress in 3D scene understanding, driving advances in applications such as embodied intelligence and robotic vision. However, existing approaches typically either rely directly on explicit 3D inputs (e.g., point clouds or RGB-D sequences), or introduce an additional 3D geometry encoder to derive 3D-aware visual tokens from 2D images. Such designs structurally decouple 3D geometric perception from the rich 2D semantics learned via vision-language pre-training, hindering the development of a unified 3D vision-language representation. In this work, we propose Occ-VLM, a novel framework for 3D scene understanding that operates purely on posed RGB images and employs a single 2D vision encoder. Specifically, Occ-VLM reconstructs 3D scene occupancy as an auxiliary geometric prior, which is utilized to spatially associate foreground 2D tokens with 3D space. These tokens are then decoded by a Large Language Model (LLM) for unified scene understanding. Extensive experiments demonstrate that Occ-VLM achieves both accurate geometric perception and robust vision-language reasoning: it attains state-of-the-art performance on multi-view occupancy prediction, while performing on par with 3D-input VLMs on 3D Visual Question Answering (VQA) and 3D dense captioning benchmarks.