SplatFill: 3D Scene Inpainting via Depth-Guided Gaussian Splatting

📄 arXiv: 2509.07809v1 📥 PDF

作者: Mahtab Dahaghin, Milind G. Padalkar, Matteo Toso, Alessio Del Bue

分类: cs.CV

发布日期: 2025-09-09

💡 一句话要点

SplatFill：提出深度引导的高斯溅射方法用于三维场景修复

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维场景修复 高斯溅射 深度引导 场景重建 图像修复

📋 核心要点

  1. 现有3D场景修复方法在处理遮挡或编辑造成的缺失区域时，容易产生模糊、伪影和几何不一致等问题。
  2. SplatFill通过深度引导，结合深度和对象监督，确保修复后的高斯分布与周围几何结构对齐，提升修复质量。
  3. 实验表明，SplatFill在视觉保真度上优于现有方法，并显著降低了训练时间，提升了修复效率。

📝 摘要（中文）

三维高斯溅射(3DGS)能够从多视角图像集合中创建高度逼真的三维场景表示。然而，修复缺失区域（无论是由于遮挡还是场景编辑）仍然是一项具有挑战性的任务，通常会导致模糊的细节、伪影和不一致的几何结构。本文介绍SplatFill，一种新颖的深度引导的3DGS场景修复方法，它实现了最先进的感知质量和更高的效率。我们的方法结合了两个关键思想：(1) 联合的基于深度和基于对象的监督，以确保修复的高斯精确地放置在3D空间中并与周围的几何结构对齐；(2) 我们提出了一种一致性感知细化方案，该方案选择性地识别和纠正不一致的区域，而不会破坏场景的其余部分。在SPIn-NeRF数据集上的评估表明，SplatFill不仅在视觉保真度方面超越了现有的基于NeRF和基于3DGS的修复方法，而且还减少了24.5%的训练时间。定性结果表明，我们的方法提供了更清晰的细节、更少的伪影以及在具有挑战性的视点上具有更高的一致性。

🔬 方法详解

问题定义：论文旨在解决3D场景修复问题，即如何高质量地填充由于遮挡或编辑而缺失的场景区域。现有方法，如基于NeRF或直接基于3DGS的方法，在修复复杂场景时，容易出现细节模糊、伪影以及几何结构不一致等问题，影响视觉效果和场景的真实感。

核心思路：SplatFill的核心思路是利用深度信息作为指导，结合对象级别的监督，来更精确地控制修复过程中高斯分布的位置和形状，从而保证修复区域与周围场景的几何一致性和视觉连贯性。此外，还引入了一致性感知的细化方案，有选择性地修正不一致区域，避免对已修复好的区域造成干扰。

技术框架：SplatFill的整体框架包含以下几个主要阶段：1) 初始化：使用现有的3DGS方法初始化场景表示。2) 深度引导的修复：利用深度信息和对象级别的监督，优化缺失区域的高斯分布参数，使其与周围场景对齐。3) 一致性感知的细化：检测并修正修复结果中不一致的区域，进一步提升修复质量。

关键创新：SplatFill的关键创新在于其深度引导的修复策略和一致性感知的细化方案。深度引导使得修复过程更加精确，能够更好地重建场景的几何结构。一致性感知的细化方案则避免了对已修复区域的过度修改，保证了整体场景的连贯性。与现有方法相比，SplatFill能够生成更高质量、更逼真的修复结果。

关键设计：SplatFill的关键设计包括：1) 深度损失函数：用于约束修复区域的高斯分布与真实深度信息对齐。2) 对象级别的监督：利用预训练的对象检测模型，对修复区域进行对象级别的约束，保证修复结果的语义一致性。3) 一致性度量：用于检测修复结果中不一致的区域，例如，可以通过比较不同视角的渲染结果来判断一致性。4) 自适应学习率调整：根据修复区域的一致性程度，自适应地调整学习率，加速收敛并避免过度拟合。

📊 实验亮点

SplatFill在SPIn-NeRF数据集上进行了评估，实验结果表明，SplatFill在视觉保真度方面显著优于现有的基于NeRF和基于3DGS的修复方法。此外，SplatFill还能够将训练时间减少24.5%，提升了修复效率。定性结果也显示，SplatFill能够生成更清晰的细节、更少的伪影以及在不同视角下具有更高一致性的修复结果。

🎯 应用场景

SplatFill技术可应用于虚拟现实、增强现实、游戏开发、电影制作等领域。例如，在VR/AR应用中，可以用于修复用户视野中被遮挡的物体，提升沉浸感。在游戏开发中，可以用于快速修复或编辑游戏场景，提高开发效率。在电影制作中，可以用于移除不需要的物体或修复拍摄中的瑕疵。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has enabled the creation of highly realistic 3D scene representations from sets of multi-view images. However, inpainting missing regions, whether due to occlusion or scene editing, remains a challenging task, often leading to blurry details, artifacts, and inconsistent geometry. In this work, we introduce SplatFill, a novel depth-guided approach for 3DGS scene inpainting that achieves state-of-the-art perceptual quality and improved efficiency. Our method combines two key ideas: (1) joint depth-based and object-based supervision to ensure inpainted Gaussians are accurately placed in 3D space and aligned with surrounding geometry, and (2) we propose a consistency-aware refinement scheme that selectively identifies and corrects inconsistent regions without disrupting the rest of the scene. Evaluations on the SPIn-NeRF dataset demonstrate that SplatFill not only surpasses existing NeRF-based and 3DGS-based inpainting methods in visual fidelity but also reduces training time by 24.5%. Qualitative results show our method delivers sharper details, fewer artifacts, and greater coherence across challenging viewpoints.