VisDom: Sparse Novel View Synthesis with Visible Domain Constraint

📄 arXiv: 2606.20531v1 📥 PDF

作者: Mariia Gladkova, Tarun Yenamandra, Edmond Boyer, Robert Maier, Tony Tung, Daniel Cremers

分类: cs.CV

发布日期: 2026-06-18

💡 一句话要点

提出VisDom以解决稀疏新视图合成中的几何恢复问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 稀疏新视图合成 几何恢复 可见域约束 视觉外壳重建 计算机视觉 物体重建 三维重建

📋 核心要点

  1. 现有的稀疏新视图合成方法在几何恢复上存在模糊性，导致生成结果不一致且存在伪影。
  2. VisDom通过引入可见域约束，强化了经典的视觉外壳重建，确保至少$K$个视图观察到的区域被考虑。
  3. 在多个挑战性数据集上的实验结果显示，VisDom在稀疏视图NVS中显著提高了重建质量，且训练成本降低了22倍。

📝 摘要（中文）

稀疏新视图合成（NVS）因从少量输入视图恢复3D几何体的模糊性而面临挑战。尽管基于NeRF和高斯点云的方法在密集监督下表现良好，但在稀疏设置中常常过拟合，导致漂浮伪影和几何不一致。本文提出VisDom，一种无学习的几何约束，通过强制至少$K$个视图观察的最小多视图可见性要求，增强经典的视觉外壳重建方法。这种方法在稀疏视图设置中提供了更强的空间先验。实验表明，VisDom在多个数据集上显著提升了稀疏视图NVS的性能，能够从仅四张输入图像中实现高质量的物体重建。

🔬 方法详解

问题定义：本文旨在解决稀疏新视图合成中从少量视图恢复3D几何体的模糊性问题。现有方法在稀疏设置下容易过拟合，导致生成结果不一致和漂浮伪影。

核心思路：VisDom通过引入可见域约束，确保至少$K$个视图观察到的区域被纳入重建过程，从而增强了几何恢复的准确性。该设计旨在提供更强的空间先验，特别是在输入视图稀疏的情况下。

技术框架：整体框架包括两个主要模块：一是基于轮廓的重建，二是通过可见域约束进行过滤。VisDom被集成到隐式（NeRF）和显式（GS）管道中，通过限制体积采样和指导高斯放置来优化重建过程。

关键创新：VisDom的主要创新在于其无学习的几何约束，区别于现有依赖于学习的模型。它通过引入可见域的概念，提供了一种新的过滤标准，显著提高了稀疏视图下的重建质量。

关键设计：该方法仅依赖于轮廓信息，无需额外的学习参数，简化了模型的复杂性。通过在优化过程中限制体积采样和高斯放置，VisDom有效地提高了重建的准确性和一致性。

🖼️ 关键图片

fig_0

📊 实验亮点

在多个挑战性数据集上的实验结果表明，VisDom在稀疏视图新视图合成中显著提升了重建质量，能够从仅四张输入图像中实现高质量的物体重建。此外，VisDom在与GaussianObject结合使用时，在Omni3D和MipNeRF360数据集上进一步提高了性能，同时训练成本降低了22倍。

🎯 应用场景

VisDom的研究成果在计算机视觉、虚拟现实和增强现实等领域具有广泛的应用潜力。它可以用于物体重建、场景理解以及在稀疏数据条件下的三维重建任务，提升了这些领域的技术水平和实际应用效果。

📄 摘要（原文）

Sparse novel view synthesis (NVS) remains challenging due to the ambiguity of recovering 3D geometry from few input views. While NeRF- and Gaussian Splatting (GS)-based methods perform well with dense supervision, they often overfit in sparse settings, producing floating artifacts and inconsistent geometry. Silhouette consistency is commonly used as a regularizer, but it remains insufficient, as silhouette-consistent regions can extend beyond the true object geometry. We introduce VisDom, a learning-free geometric constraint that augments classical carving-based visual hull reconstruction by enforcing a minimum multi-view visibility requirement. Specifically, we define a visible domain as the subset of 3D space observed by at least $K$ views and use it as an additional filtering criterion on top of standard silhouette-based reconstruction. This provides a stronger spatial prior in sparse-view settings. We integrate VisDom into both implicit (NeRF) and explicit (GS) pipelines by restricting volumetric sampling and guiding Gaussian placement during optimization. Experiments on three challenging datasets show consistent improvements in sparse-view NVS, enabling high-quality object-centric reconstruction from as few as four input images. Our method is domain-agnostic, requires only silhouettes, and introduces no learned parameters, making it a simple complement to existing approaches. Applying VisDom on top of GaussianObject further improves performance on Omni3D and MipNeRF360, while matching or surpassing it at 22 $\times$ lower training cost.