OUGS: Active View Selection via Object-aware Uncertainty Estimation in 3DGS

📄 arXiv: 2511.09397v2 📥 PDF

作者: Haiyi Li, Qi Chen, Denis Kalkofen, Hsiang-Ting Chen

分类: cs.CV, cs.CG, cs.GR, cs.HC

发布日期: 2025-11-12 (更新: 2025-12-15)

备注: Conditionally accepted to Eurographics 2026 (five reviewers)

💡 一句话要点

OUGS：基于对象感知不确定性估计的3DGS主动视角选择

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D高斯溅射 主动视角选择 不确定性估计 对象感知 语义分割

📋 核心要点

  1. 现有主动重建方法依赖场景级不确定性，易受背景干扰，导致对象中心任务视角选择效率低。
  2. OUGS从3D高斯基元的物理参数推导不确定性，并结合语义分割，实现对象感知的不确定性估计。
  3. 实验表明，OUGS提高了3DGS重建效率和目标对象质量，同时提供鲁棒的全局场景不确定性估计。

📝 摘要（中文）

本文提出OUGS，一种新颖的框架，通过在3D高斯溅射（3DGS）中进行对象感知的不确定性估计，从而实现主动视角选择。现有主动重建方法依赖于场景级不确定性度量，容易受到无关背景杂波的影响，导致以对象为中心的任务视角选择效率低下。OUGS的核心创新在于直接从3D高斯基元的物理参数（例如，位置、尺度、旋转）推导不确定性。通过渲染雅可比矩阵传播这些参数的协方差，建立了一个高度可解释的不确定性模型。该模型能够无缝集成语义分割掩码，产生有针对性的、对象感知的不确定性分数，从而有效地将对象与其环境分离。实验结果表明，与现有方法相比，该方法显著提高了3DGS重建过程的效率，并实现了更高质量的目标对象重建，同时也可作为全局场景的鲁棒不确定性估计器。

🔬 方法详解

问题定义：现有主动视角选择方法在3D高斯溅射（3DGS）重建中，难以高效地捕捉复杂场景中特定对象的高保真重建。现有方法依赖于场景级的不确定性度量，这些度量往往受到背景杂波的影响，导致为对象中心任务选择的视角并非最优，重建效率低下。因此，需要一种能够区分目标对象和背景，并针对对象进行优化视角选择的方法。

核心思路：OUGS的核心思路是直接从3D高斯基元的物理参数（位置、尺度、旋转等）推导不确定性。这些参数直接反映了3D结构的几何信息，因此基于它们的不确定性估计更具有物理意义。通过将这些参数的不确定性与语义分割信息相结合，可以实现对象感知的不确定性估计，从而指导主动视角选择，优先选择能够提高目标对象重建质量的视角。

技术框架：OUGS框架主要包含以下几个阶段：1) 3DGS模型的初始化和训练；2) 从3D高斯基元的物理参数计算不确定性；3) 利用语义分割掩码提取对象区域的不确定性；4) 基于对象感知的不确定性分数进行主动视角选择，选择下一个最佳视角进行渲染和更新3DGS模型。该框架迭代执行这些步骤，直到达到预定的重建质量或视角数量。

关键创新：OUGS的关键创新在于其对象感知的不确定性估计方法。与现有方法不同，OUGS直接从3D高斯基元的物理参数推导不确定性，并通过渲染雅可比矩阵传播参数协方差，建立了一个可解释的不确定性模型。此外，OUGS还集成了语义分割信息，从而能够区分目标对象和背景，实现对象感知的不确定性估计。这种对象感知的不确定性估计能够更准确地反映目标对象的重建质量，从而指导主动视角选择，提高重建效率和质量。

关键设计：OUGS的关键设计包括：1) 使用渲染雅可比矩阵传播3D高斯基元参数的协方差，从而计算每个像素的不确定性；2) 使用语义分割掩码对像素的不确定性进行加权，从而实现对象感知的不确定性估计；3) 设计了一种基于对象感知不确定性分数的视角选择策略，该策略优先选择能够最大程度降低目标对象不确定性的视角。

📊 实验亮点

实验结果表明，OUGS在公共数据集上显著提高了3DGS重建的效率和目标对象质量。与现有方法相比，OUGS能够以更少的视角达到更高的重建精度。具体而言，在相同视角数量下，OUGS在目标对象的重建质量上取得了显著提升，并且能够更准确地估计场景的不确定性。

🎯 应用场景

OUGS可应用于机器人导航、自动驾驶、增强现实等领域。例如，在机器人导航中，机器人可以利用OUGS主动选择视角，高效地重建目标对象（如障碍物、路标），从而提高导航的准确性和安全性。在自动驾驶中，可以用于高精度地图的构建，尤其是在需要重点关注特定对象（如交通标志、行人）的场景下。在AR/VR中，可以用于快速构建高质量的3D模型，提升用户体验。

📄 摘要（原文）

Recent advances in 3D Gaussian Splatting (3DGS) have achieved state-of-the-art results for novel view synthesis. However, efficiently capturing high-fidelity reconstructions of specific objects within complex scenes remains a significant challenge. A key limitation of existing active reconstruction methods is their reliance on scene-level uncertainty metrics, which are often biased by irrelevant background clutter and lead to inefficient view selection for object-centric tasks. We present OUGS, a novel framework that addresses this challenge with a more principled, physically-grounded uncertainty formulation for 3DGS. Our core innovation is to derive uncertainty directly from the explicit physical parameters of the 3D Gaussian primitives (e.g., position, scale, rotation). By propagating the covariance of these parameters through the rendering Jacobian, we establish a highly interpretable uncertainty model. This foundation allows us to then seamlessly integrate semantic segmentation masks to produce a targeted, object-aware uncertainty score that effectively disentangles the object from its environment. This allows for a more effective active view selection strategy that prioritizes views critical to improving object fidelity. Experimental evaluations on public datasets demonstrate that our approach significantly improves the efficiency of the 3DGS reconstruction process and achieves higher quality for targeted objects compared to existing state-of-the-art methods, while also serving as a robust uncertainty estimator for the global scene.