OVM-Occ: Open-Vocabulary Monocular Occupancy Prediction via Geometry-Aware Vision-Language Distillation

📄 arXiv: 2610.35312v1 📥 PDF

作者: Shuyang Yu, Haibo Qin, Shaohan Hu, Wei Shan, Xiaoqing Guan, You Wang, Guang Li

分类: cs.CV

发布日期: 2026-10-26

备注: 8 pages, 6 figures, 8 tables

💡 一句话要点

提出OVM-Occ以解决室内场景开放词汇单目占用预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目占用预测 开放词汇 高斯表示 视觉-语言蒸馏 几何感知 室内场景 深度学习

📋 核心要点

  1. 现有单目占用预测方法受限于固定的类别集合，难以处理室内场景中的多样化和细粒度语义类别。
  2. 本文提出OVM-Occ框架，结合高斯表示和实例感知的视觉-语言蒸馏，提升开放词汇的占用预测能力。
  3. 实验结果显示，OVM-Occ在Occ-ScanNet数据集上相比于之前的最先进方法提升了12.2 mIoU和0.6 IoU，表现出色。

📝 摘要（中文）

单目占用预测旨在从单张RGB图像中恢复室内场景的3D几何和语义信息。现有方法受限于预定义类别，难以泛化到未见类别，尤其在室内场景中，物体的语义类别多样且细致。本文研究开放词汇的单目占用预测，提出OVM-Occ框架，采用基于高斯的占用表示和实例感知的视觉-语言教师。通过引入几何感知的可变形注意力模块和实例级视觉-语言嵌入，提供可靠的语义监督，并通过几何感知的解耦语义蒸馏来减轻几何学习与语义学习之间的干扰。我们还引入了OpenOcc-ScanNet和OpenOcc-Replica两个扩展基准，实验结果表明该方法在开放词汇单目占用预测中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决室内场景中的开放词汇单目占用预测问题。现有方法通常依赖于预定义的类别，限制了其在多样化物体语义类别上的泛化能力。

核心思路：OVM-Occ框架通过引入基于高斯的占用表示和实例感知的视觉-语言教师，旨在提高模型对未见类别的适应能力。此设计使得模型能够更好地理解和预测复杂的室内场景。

技术框架：整体架构包括三个主要模块：1) 基于高斯的占用表示；2) 几何感知的可变形注意力模块，用于细化语义特征；3) 实例级视觉-语言嵌入，提供语义监督。

关键创新：最重要的创新在于引入几何感知的解耦语义蒸馏，解决了几何学习与语义学习之间的干扰问题。这一方法与传统的占用预测方法相比，显著提升了模型的学习效率和准确性。

关键设计：在模型设计中，采用了语言嵌入高斯作为中间场景表示，使用了特定的损失函数来优化几何和语义学习的解耦，确保模型在复杂场景中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OVM-Occ在开放词汇单目占用预测中表现优异，在Occ-ScanNet数据集上相较于之前的最先进方法提升了12.2 mIoU和0.6 IoU，展示了其在新开放词汇评估协议下的稳定性和优势。

🎯 应用场景

该研究的潜在应用领域包括室内导航、智能家居和机器人视觉等。通过提高模型对未见物体的识别能力，OVM-Occ能够在实际应用中实现更智能的环境理解，推动智能设备的普及和应用。

📄 摘要（原文）

Monocular occupancy prediction in indoor scenes aims to recover a scene's 3D geometry and semantics from a single RGB image. Existing methods are restricted to a closed set of predefined categories, limiting their ability to generalize to unseen categories. This limitation is particularly critical in indoor scenes, where objects exhibit highly diverse and fine-grained semantic categories. We study open-vocabulary monocular occupancy prediction for indoor scenes and present OVM-Occ, a Gaussian-based occupancy framework with an instance-aware vision-language teacher. Specifically, we adopt Language-Embedded Gaussians as the intermediate scene representation, propose a geometry-aware deformable attention module to refine Gaussian semantic features, and construct instance-level vision-language embeddings to provide reliable semantic supervision. We further introduce geometry-aware decoupled semantic distillation to mitigate the interference between geometry learning and semantic learning. To evaluate open-vocabulary occupancy prediction performance, we introduce OpenOcc-ScanNet and OpenOcc-Replica, two extended benchmarks with more diverse and fine-grained semantic categories. Experiments show that our method achieves state-of-the-art performance in open-vocabulary monocular occupancy prediction for indoor scenes, outperforming the previous state-of-the-art approach by 12.2 mIoU and 0.6 IoU on the Occ-ScanNet dataset, with consistent gains under new open-vocabulary evaluation protocols.