PRIMU: Uncertainty Estimation for Novel Views in Gaussian Splatting from Primitive-Based Representations of Error and Coverage

📄 arXiv: 2508.02443v2 📥 PDF

作者: Thomas Gottwald, Edgar Heinert, Peter Stehr, Chamuditha Jayanga Galappaththige, Matthias Rottmann

分类: cs.GR, cs.CV

发布日期: 2025-08-04 (更新: 2025-12-02)

备注: Revised writing and figures; additional Gaussian Splatting experiments; added baselines and datasets; active view-selection experiments

💡 一句话要点

提出PRIMU以解决高斯点云中的不确定性估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 不确定性估计 高斯点云 原始表示 深度学习 机器人技术 医学影像 自动驾驶

📋 核心要点

  1. 现有的不确定性估计方法依赖于渲染过程，难以提供可靠的像素级不确定性，尤其在安全关键领域表现不足。
  2. PRIMU通过构建原始级别的误差和覆盖率表示，直接从训练视图中捕捉不确定性信息，提供更直观的估计。
  3. 实验结果显示，PRIMU在深度不确定性估计和前景物体上表现优异，且在未见场景中具备良好的泛化能力。

📝 摘要（中文）

我们提出了基于原始表示的不确定性估计框架PRIMU，用于高斯点云渲染。可靠的不确定性估计在机器人和医学等安全关键领域至关重要。现有方法通常依赖于渲染过程来获取像素级不确定性，而我们通过从训练视图中构建原始级别的误差和覆盖率表示，捕捉可解释的不确定性信息。通过渲染这些表示，我们生成不确定性特征图，并通过像素级回归进行聚合。实验结果表明，PRIMU在深度不确定性估计和前景物体的表现上超越了现有方法，并且在未见场景上具有良好的泛化能力。

🔬 方法详解

问题定义：本论文旨在解决高斯点云渲染中的不确定性估计问题。现有方法通常依赖于渲染过程来获取像素级不确定性，导致在安全关键应用中的可靠性不足。

核心思路：PRIMU通过构建原始级别的误差和覆盖率表示，直接从训练视图中提取不确定性信息。这种方法使得不确定性估计更具可解释性，并能够在新视图中进行有效推断。

技术框架：PRIMU的整体架构包括三个主要模块：原始级别表示构建、特征图生成和像素级回归。首先，从训练视图中提取误差和覆盖率信息，然后生成不确定性特征图，最后通过回归模型进行聚合。

关键创新：PRIMU的主要创新在于其基于原始的表示方法，能够直接捕捉不确定性信息，而不是依赖于渲染过程。这一设计使得不确定性估计更加准确，尤其在处理前景物体时表现突出。

关键设计：在模型设计中，采用了特定的损失函数来优化不确定性特征图的生成，并通过分离前景和背景区域来提高估计的准确性。

📊 实验亮点

实验结果表明，PRIMU在深度不确定性估计和前景物体的表现上显著优于现有最先进的方法，尤其在真实错误的相关性上表现出强烈的相关性，且在未见场景中展现出良好的泛化能力。

🎯 应用场景

PRIMU的研究成果在机器人、医学影像分析及自动驾驶等安全关键领域具有广泛的应用潜力。通过提供可靠的不确定性估计，能够增强系统的安全性和决策能力，未来可能推动相关技术的进一步发展和应用。

📄 摘要（原文）

We introduce Primitive-based Representations of Uncertainty (PRIMU), a post-hoc uncertainty estimation (UE) framework for Gaussian Splatting (GS). Reliable UE is essential for deploying GS in safety-critical domains such as robotics and medicine. Existing approaches typically estimate Gaussian-primitive variances and rely on the rendering process to obtain pixel-wise uncertainties. In contrast, we construct primitive-level representations of error and visibility/coverage from training views, capturing interpretable uncertainty information. These representations are obtained by projecting view-dependent training errors and coverage statistics onto the primitives. Uncertainties for novel views are inferred by rendering these primitive-level representations, producing uncertainty feature maps, which are aggregate through pixel-wise regression on holdout data. We analyze combinations of uncertainty feature maps and regression models to understand how their interactions affect prediction accuracy and generalization. PRIMU also enables an effective active view selection strategy by directly leveraging these uncertainty feature maps. Additionally, we study the effect of separating splatting into foreground and background regions. Our estimates show strong correlations with true errors, outperforming state-of-the-art methods, especially for depth UE and foreground objects. Finally, our regression models show generalization capabilities to unseen scenes, enabling UE without additional holdout data.