GCSR-OCC: Geometry Calibration and Semantic Routing for Open-Vocabulary Occupancy Prediction

📄 arXiv: 2610.37149v1 📥 PDF

作者: Bohua Wang, Congyang Zhao, Tianxiong Lv, Chenxu Zhao, He Zheng, Hangqi Fan, Leigang Luo, Zhihao Liao, Yihong Guo, Yang Cai

分类: cs.CV, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出GCSR-OCC以解决开放词汇占用预测中的几何校准与语义路由问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 占用预测 几何校准 语义路由 3D视觉 深度学习 室内场景理解

📋 核心要点

  1. 现有方法在开放词汇占用预测中面临高斯尺度膨胀和语义混合等挑战，导致体素占用预测不准确。
  2. GCSR-OCC通过引入几何校准和多模态查询条件语义路由，优化了从RGB图像进行占用预测的过程。
  3. 在Occ-ScanNet数据集上，GCSR-OCC实现了领先的性能，几何IoU达到63.31%，语义mIoU为27.44%，显著提升了预测精度。

📝 摘要（中文）

开放词汇3D占用预测将场景几何和语义统一表示在体素网格中，从而实现超越预定义类别的识别。现有方法通过3D高斯重建场景并转换为体素占用，但高斯尺度膨胀和过度重叠会扭曲体素占用预测，且在多类别高斯和3D-2D语义特征对齐过程中可能产生语义混合。为此，本文提出GCSR-OCC，结合几何校准和多模态查询条件语义路由，从单张RGB图像中进行室内占用预测。通过证据保留的高斯到占用算子（EC-G2O），抑制尺度膨胀和局部证据过度积累，同时校准占用响应。多模态查询优先高斯语义路由（MM-QGSR）将每个高斯与文本查询匹配，并通过可学习的文本条件路由器将查询特定证据聚合到体素中。GCSR-OCC在Occ-ScanNet上实现了63.31%的几何IoU和27.44%的语义mIoU，且几何聚合延迟从19.76毫秒降低至12.88毫秒。

🔬 方法详解

问题定义：本文旨在解决开放词汇占用预测中的几何校准与语义路由问题。现有方法在处理3D高斯重建时，容易出现尺度膨胀和过度重叠，导致体素占用预测失真，同时在多类别高斯和3D-2D语义特征对齐过程中可能产生语义混合。

核心思路：GCSR-OCC的核心思路是结合几何校准和多模态查询条件语义路由，以提高从单张RGB图像进行室内占用预测的准确性。通过优化高斯到占用的转换过程，减少不必要的重叠和混合，确保更准确的体素占用表示。

技术框架：GCSR-OCC的整体架构包括两个主要模块：证据保留的高斯到占用算子（EC-G2O）和多模态查询优先高斯语义路由（MM-QGSR）。EC-G2O负责校准占用响应，MM-QGSR则通过学习的文本条件路由器将查询特定证据聚合到体素中。

关键创新：GCSR-OCC的关键创新在于引入了EC-G2O和MM-QGSR两个模块，分别解决了高斯尺度膨胀和语义混合的问题。这种设计使得模型能够在没有3D语义注释的情况下，依然实现高效的占用预测。

关键设计：在技术细节上，EC-G2O采用了核质量归一化和$p$-范数聚合，结合可学习的增益来抑制局部证据的过度积累。MM-QGSR则通过细粒度子类查询和光滑的语义聚合进一步优化了体素级预测。整体设计确保了模型在性能和效率上的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GCSR-OCC在Occ-ScanNet数据集上取得了显著的实验结果，几何IoU达到63.31%，语义mIoU为27.44%。此外，该方法将几何聚合延迟从19.76毫秒降低至12.88毫秒，显示出在效率和准确性上的双重提升。

🎯 应用场景

该研究在室内场景理解、机器人导航和增强现实等领域具有广泛的应用潜力。通过实现开放词汇的占用预测，GCSR-OCC能够支持更灵活的场景分析和交互，推动智能系统在复杂环境中的应用。未来，该方法还可以扩展到其他类型的视觉任务中，提升智能系统的理解能力。

📄 摘要（原文）

Open-vocabulary 3D occupancy prediction represents scene geometry and semantics in a unified voxel grid, enabling recognition beyond predefined categories. One approach reconstructs scenes with 3D Gaussians and converts them into voxel occupancy. However, Gaussian scale inflation and excessive overlap can distort voxel occupancy predictions, while semantic mixing can arise within Gaussians spanning multiple categories and during 3D--2D semantic feature alignment. We propose GCSR-OCC, which combines geometry calibration and multi-mode query-conditioned semantic routing for indoor occupancy prediction from a single RGB image. The Evidence-Conserving Gaussian-to-Occupancy operator (EC-G2O) uses kernel mass normalization, $p$-norm aggregation, and a learnable gain to suppress scale inflation and excessive local evidence accumulation while calibrating occupancy responses. Multi-mode Query-First Gaussian Semantic Routing (MM-QGSR) matches multiple semantic modes per Gaussian to text queries and aggregates query-specific evidence into voxels through a learnable text-conditioned router. Fine-grained subclass queries and smoothed semantic aggregation further refine voxel-level predictions. Without 3D semantic annotations, GCSR-OCC achieves state-of-the-art performance in open-vocabulary occupancy prediction on Occ-ScanNet, with 63.31% geometric IoU and 27.44% semantic mIoU. It also reduces geometric aggregation latency from 19.76 ms to 12.88 ms. Our code will be made publicly available.