Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

📄 arXiv: 2607.01633v1 📥 PDF

作者: Hu Zhu, Bohan Li, Xianda Guo, Yanlun Peng, Zheng Zhu, Xin Jin, Wenjun Zeng, Chang Wen Chen

分类: cs.CV

发布日期: 2026-07-02

备注: Hu Zhu, Bohan Li, and Xianda Guo contributed equally. Corresponding author: Wenjun Zeng

💡 一句话要点

提出COVScene以解决无姿态图像的全面3D场景理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景理解 无姿态图像 语义占用 高斯原语 开放词汇分割 多任务学习 体积正则化

📋 核心要点

  1. 现有方法在无姿态图像的3D场景理解中面临重建几何体和语义的挑战，尤其是在未观察区域的约束不足。
  2. COVScene通过可微分的体积提升将高斯原语与语义占用场结合，优化高斯的不透明度和几何特征，支持多任务学习。
  3. 实验结果显示，COVScene在渲染质量和开放词汇分割上优于自监督基线，且在语义占用预测方面表现更强。

📝 摘要（中文）

全面的3D场景理解需要从稀疏的无姿态图像中恢复可渲染的几何体、开放词汇的语义以及自由/占用的3D空间，而无需依赖外部相机校准。近期的前馈高斯方法改善了无姿态重建和语义渲染，但其高斯原语主要通过图像空间目标进行优化，在未观察区域的约束较弱。本文提出了COVScene，一个无姿态的语义高斯框架，通过可微分的体积提升将可渲染的高斯原语与密集的语义占用场结合。COVScene在训练计算图中提升预测的语义高斯，使体积正则化为高斯的不透明度、几何体和语义特征提供梯度。该框架结合了语义感知几何变换器、多任务高斯解码、几何基础蒸馏和占用熵正则化，支持新视图合成、开放词汇语义查询和语义占用预测。实验结果表明，COVScene在ScanNet和ScanNet++上保持了竞争性的渲染质量，改善了开放词汇分割，并在没有直接体素级监督的情况下实现了更强的语义占用预测。

🔬 方法详解

问题定义：本文旨在解决从稀疏的无姿态图像中进行全面3D场景理解的问题。现有方法在未观察区域的约束较弱，导致重建效果不佳。

核心思路：COVScene框架通过可微分的体积提升，将可渲染的高斯原语与密集的语义占用场结合，优化高斯的几何和语义特征，避免仅在评估时转换为体素。

技术框架：COVScene的整体架构包括语义感知几何变换器、多任务高斯解码、几何基础蒸馏和占用熵正则化模块，支持新视图合成和语义查询。

关键创新：COVScene的创新在于在训练过程中提升语义高斯，利用体积正则化为高斯特征提供梯度，这与传统方法在评估时转换体素的方式有本质区别。

关键设计：该框架的关键设计包括损失函数的选择、网络结构的优化，以及如何通过多任务学习来提升模型的整体性能。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，COVScene在ScanNet和ScanNet++数据集上实现了竞争性的渲染质量，开放词汇分割性能提升明显，语义占用预测的准确性超过了自监督基线，显示出更强的泛化能力和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景理解任务。通过提供更准确的3D场景重建和语义理解，COVScene能够提升智能系统在复杂环境中的决策能力和交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Comprehensive 3D scene understanding from sparse, unposed images requires a model to recover renderable geometry, open-vocabulary semantics, and free/occupied 3D space without relying on external camera calibration. Recent feed-forward Gaussian methods improve pose-free reconstruction and semantic rendering, but their Gaussian primitives are mainly optimized through image-space objectives and remain weakly constrained in unobserved regions. We propose \textit{COVScene}, a pose-free semantic Gaussian framework that couples renderable Gaussian primitives with a dense semantic occupancy field through differentiable volumetric lifting. Instead of converting Gaussians to voxels only at evaluation time, COVScene lifts the predicted semantic Gaussians inside the training computation graph, so volumetric regularization provides gradients to Gaussian opacity, geometry, and semantic features. The framework combines a semantic-aware Geometry Transformer, multi-task Gaussian decoding, geometric foundation distillation, and occupancy entropy regularization to support novel view synthesis, open-vocabulary semantic querying, and semantic occupancy prediction within a single representation. Experiments on ScanNet and ScanNet++ show that COVScene maintains competitive rendering quality, improves open-vocabulary segmentation, and achieves stronger semantic occupancy prediction than the self-supervised baseline without direct voxel-level supervision.