Inpaint360GS: Efficient Object-Aware 3D Inpainting via Gaussian Splatting for 360° Scenes

📄 arXiv: 2511.06457v1 📥 PDF

作者: Shaoxiang Wang, Shihong Zhang, Christen Millerdurai, Rüdiger Westermann, Didier Stricker, Alain Pagani

分类: cs.CV

发布日期: 2025-11-09

备注: WACV 2026, project page: https://dfki-av.github.io/inpaint360gs/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Inpaint360GS，通过高斯溅射实现高效的360°场景物体感知3D修复。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 360°场景修复 3D高斯溅射 物体移除 场景补全 虚拟现实 图像分割 上下文感知 深度学习

📋 核心要点

  1. 现有方法难以在复杂360°场景中进行物体修复，主要挑战在于物体识别、严重遮挡和跨视图一致性。
  2. Inpaint360GS通过将2D分割信息提炼到3D高斯溅射中，并利用虚拟相机视图进行上下文引导，实现物体级编辑和场景补全。
  3. 实验结果表明，Inpaint360GS在360°场景修复任务中优于现有基线，并提出了一个新的360°修复数据集。

📝 摘要（中文）

尽管最近在使用NeRF和3D高斯溅射(3DGS)的单物体前向修复方面取得了进展，但在复杂的360°场景中进行修复在很大程度上仍未被探索。这主要是由于三个关键挑战：(i)在360°环境的3D场中识别目标物体，(ii)处理多物体场景中的严重遮挡，这使得难以定义要修复的区域，以及(iii)有效地保持跨视图的一致和高质量的外观。为了应对这些挑战，我们提出了Inpaint360GS，这是一个基于3DGS的灵活的360°编辑框架，支持3D空间中的多物体移除和高保真修复。通过将2D分割提炼到3D，并利用虚拟相机视图进行上下文指导，我们的方法能够实现准确的物体级编辑和一致的场景补全。我们进一步引入了一个为360°修复量身定制的新数据集，解决了缺乏无物体ground truth场景的问题。实验表明，Inpaint360GS优于现有的基线，并实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决360°场景中复杂物体的移除和修复问题。现有方法在处理此类场景时面临诸多挑战，包括难以准确识别和分割3D空间中的目标物体，以及由于多物体遮挡导致难以定义修复区域。此外，保持修复后场景在不同视角下的一致性和高质量外观也是一个难题。

核心思路：Inpaint360GS的核心思路是将2D图像分割信息融入到3D高斯溅射表示中，从而实现对3D场景中物体的精确感知和编辑。通过利用虚拟相机视图作为上下文指导，该方法能够更好地理解场景结构，并生成与周围环境一致的修复结果。

技术框架：Inpaint360GS框架主要包含以下几个阶段：1) 使用预训练的2D分割模型对360°图像进行分割，得到每个物体的mask；2) 将2D分割信息投影到3D高斯溅射表示中，从而实现对3D场景中物体的定位和分割；3) 利用虚拟相机视图作为上下文信息，指导修复区域的生成；4) 使用优化算法对高斯溅射参数进行调整，以实现对场景的修复和补全。

关键创新：该方法最重要的创新点在于将2D分割信息有效地融入到3D高斯溅射表示中，从而实现了对3D场景中物体的精确感知和编辑。与现有方法相比，Inpaint360GS能够更好地处理复杂场景中的遮挡问题，并生成与周围环境更加一致的修复结果。

关键设计：该方法的关键设计包括：1) 使用预训练的2D分割模型，例如Mask R-CNN，以获得高质量的物体分割mask；2) 设计了一种损失函数，用于约束修复区域与周围环境的一致性，包括颜色一致性和几何一致性；3) 使用了一种自适应的学习率调整策略，以加速优化过程并提高修复质量。

📊 实验亮点

Inpaint360GS在360°场景修复任务中取得了显著的性能提升。实验结果表明，Inpaint360GS在PSNR、SSIM等指标上均优于现有基线方法，例如NeRF-based inpainting和传统图像修复方法。此外，该方法在处理复杂遮挡和保持跨视图一致性方面也表现出色。作者还构建了一个新的360°修复数据集，为该领域的研究提供了宝贵资源。

🎯 应用场景

Inpaint360GS在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。例如，可以用于移除VR/AR场景中不需要的物体，或者修复由于扫描误差导致的场景缺陷。该技术还可以应用于360°全景视频的编辑和修复，提升用户体验。未来，该技术有望进一步发展，实现更加智能和自动化的3D场景编辑。

📄 摘要（原文）

Despite recent advances in single-object front-facing inpainting using NeRF and 3D Gaussian Splatting (3DGS), inpainting in complex 360° scenes remains largely underexplored. This is primarily due to three key challenges: (i) identifying target objects in the 3D field of 360° environments, (ii) dealing with severe occlusions in multi-object scenes, which makes it hard to define regions to inpaint, and (iii) maintaining consistent and high-quality appearance across views effectively. To tackle these challenges, we propose Inpaint360GS, a flexible 360° editing framework based on 3DGS that supports multi-object removal and high-fidelity inpainting in 3D space. By distilling 2D segmentation into 3D and leveraging virtual camera views for contextual guidance, our method enables accurate object-level editing and consistent scene completion. We further introduce a new dataset tailored for 360° inpainting, addressing the lack of ground truth object-free scenes. Experiments demonstrate that Inpaint360GS outperforms existing baselines and achieves state-of-the-art performance. Project page: https://dfki-av.github.io/inpaint360gs/