Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

📄 arXiv: 2607.01633 📥 PDF

作者: Hu Zhu, Bohan Li, Xianda Guo, Yanlun Peng, Zheng Zhu, Xin Jin, Wenjun Zeng, Chang Wen Chen

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出COVScene以解决无姿态图像的全面3D场景理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景理解 高斯原语 语义占用 无姿态图像 开放词汇语义 多任务学习 体积正则化

📋 核心要点

  1. 现有方法在无姿态图像的3D场景理解中面临重建和语义渲染的挑战，特别是在未观察区域的约束不足。
  2. COVScene通过可微分的体积提升，将高斯原语与语义占用场结合，优化高斯的不透明度和几何特征。
  3. 实验表明，COVScene在渲染质量、开放词汇分割和语义占用预测上均优于自监督基线，显示出显著的性能提升。

📝 摘要（中文）

全面的3D场景理解需要从稀疏的无姿态图像中恢复可渲染的几何体、开放词汇的语义和自由/占用的3D空间，而不依赖于外部相机标定。近期的前馈高斯方法在无姿态重建和语义渲染方面有所改进，但其高斯原语主要通过图像空间目标进行优化，在未观察区域的约束较弱。我们提出了COVScene，一个无姿态的语义高斯框架，通过可微分的体积提升将可渲染的高斯原语与密集的语义占用场结合。COVScene在训练计算图中提升预测的语义高斯，使得体积正则化为高斯的不透明度、几何体和语义特征提供梯度。该框架结合了语义感知的几何变换器、多任务高斯解码、几何基础蒸馏和占用熵正则化，支持新视图合成、开放词汇语义查询和语义占用预测。实验结果表明，COVScene在ScanNet和ScanNet++上保持了竞争性的渲染质量，改善了开放词汇分割，并在没有直接体素级监督的情况下实现了更强的语义占用预测。

🔬 方法详解

问题定义：本论文旨在解决从稀疏无姿态图像中进行全面3D场景理解的问题。现有方法在重建和语义渲染方面存在不足，特别是在未观察区域的约束较弱，导致效果不佳。

核心思路：COVScene的核心思路是通过可微分的体积提升，将可渲染的高斯原语与密集的语义占用场结合，从而在训练过程中优化高斯的不透明度、几何体和语义特征。这样的设计使得模型在训练阶段就能获得更好的约束，提升了整体性能。

技术框架：COVScene的整体架构包括语义感知的几何变换器、多任务高斯解码、几何基础蒸馏和占用熵正则化等模块。通过这些模块的协同作用，模型能够实现新视图合成、开放词汇语义查询和语义占用预测。

关键创新：COVScene的主要创新在于其将高斯原语与语义占用场结合的方式，打破了传统方法在未观察区域的弱约束问题，提供了更强的语义理解能力。

关键设计：在模型设计中，采用了多任务学习策略，通过不同的损失函数来优化高斯的不透明度和几何特征。此外，体积正则化的引入为高斯特征提供了有效的梯度支持，增强了模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，COVScene在ScanNet和ScanNet++数据集上实现了竞争性的渲染质量，开放词汇分割性能显著提升，语义占用预测能力超越了自监督基线，未使用直接体素级监督的情况下，性能提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景理解任务。通过提供全面的3D场景理解能力，COVScene能够在复杂环境中实现更高效的决策和交互，具有重要的实际价值和未来影响。

📄 摘要（原文）

Comprehensive 3D scene understanding from sparse, unposed images requires a model to recover renderable geometry, open-vocabulary semantics, and free/occupied 3D space without relying on external camera calibration. Recent feed-forward Gaussian methods improve pose-free reconstruction and semantic rendering, but their Gaussian primitives are mainly optimized through image-space objectives and remain weakly constrained in unobserved regions. We propose \textit{COVScene}, a pose-free semantic Gaussian framework that couples renderable Gaussian primitives with a dense semantic occupancy field through differentiable volumetric lifting. Instead of converting Gaussians to voxels only at evaluation time, COVScene lifts the predicted semantic Gaussians inside the training computation graph, so volumetric regularization provides gradients to Gaussian opacity, geometry, and semantic features. The framework combines a semantic-aware Geometry Transformer, multi-task Gaussian decoding, geometric foundation distillation, and occupancy entropy regularization to support novel view synthesis, open-vocabulary semantic querying, and semantic occupancy prediction within a single representation. Experiments on ScanNet and ScanNet++ show that COVScene maintains competitive rendering quality, improves open-vocabulary segmentation, and achieves stronger semantic occupancy prediction than the self-supervised baseline without direct voxel-level supervision.