SparseGS: Real-Time 360° Sparse View Synthesis using Gaussian Splatting

📄 arXiv: 2312.00206v3 📥 PDF

作者: Haolin Xiong, Sairisheek Muttukuru, Rishi Upadhyay, Pradyumna Chari, Achuta Kadambi

分类: cs.CV, cs.LG, eess.IV

发布日期: 2023-11-30 (更新: 2025-03-26)

备注: Version accepted to 3DV 2025. Project page: https://github.com/ForMyCat/SparseGS

💡 一句话要点

提出SparseGS以解决稀疏视图合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 稀疏视图合成 3D重建 高斯点云 实时渲染 深度学习

📋 核心要点

  1. 现有的3D高斯点云渲染方法需要大量密集的训练视图，稀疏视图会导致重建质量下降和伪影产生。
  2. SparseGS通过引入深度先验和新的深度渲染技术，结合修剪启发式方法，解决了稀疏视图下的重建问题。
  3. 在多个数据集上，SparseGS在仅使用少量输入图像的情况下，显著提升了重建质量和渲染速度。

📝 摘要（中文）

3D高斯点云渲染（3DGS）最近实现了对无限3D场景的实时渲染，但需要密集的训练视图以准确重建3D几何形状。输入视图数量有限会显著降低重建质量，导致“浮动物体”和“背景崩溃”等伪影。本文提出SparseGS，一个高效的训练管道，旨在解决3DGS在稀疏训练视图场景中的局限性。SparseGS结合了深度先验、新的深度渲染技术和修剪启发式方法，以减轻浮动物体伪影，同时引入未见视点正则化模块以缓解背景崩溃。我们在Mip-NeRF360、LLFF和DTU数据集上的广泛评估表明，SparseGS在无限和前向场景中均能实现高质量重建，分别只需12张和3张输入图像，同时保持快速训练和实时渲染能力。

🔬 方法详解

问题定义：本文旨在解决3D高斯点云渲染（3DGS）在稀疏训练视图下的重建质量问题。现有方法依赖于密集视图，导致在视图稀疏时出现浮动物体和背景崩溃等伪影。

核心思路：SparseGS的核心思路是通过引入深度先验和新的深度渲染技术，结合修剪启发式方法，来提高稀疏视图下的重建效果。这样设计的目的是在减少输入图像数量的同时，保持高质量的重建。

技术框架：SparseGS的整体架构包括多个模块：深度先验模块、深度渲染模块、修剪启发式模块和未见视点正则化模块。每个模块协同工作，以优化稀疏视图下的重建过程。

关键创新：SparseGS的主要创新在于引入了未见视点正则化模块，显著减少了背景崩溃现象，这是现有方法所缺乏的。

关键设计：在技术细节上，SparseGS采用了特定的损失函数来平衡重建质量与计算效率，同时在网络结构上进行了优化，以适应稀疏输入的特点。具体的参数设置和网络架构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SparseGS在Mip-NeRF360、LLFF和DTU数据集上的实验结果显示，使用仅12张和3张输入图像时，重建质量显著提升，且保持实时渲染能力，展示了相较于传统方法的明显优势。

🎯 应用场景

SparseGS的研究成果在虚拟现实、增强现实和计算机图形学等领域具有广泛的应用潜力。通过实现高质量的稀疏视图合成，该技术可以在资源受限的情况下提供更好的用户体验，推动相关技术的发展和应用。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has recently enabled real-time rendering of unbounded 3D scenes for novel view synthesis. However, this technique requires dense training views to accurately reconstruct 3D geometry. A limited number of input views will significantly degrade reconstruction quality, resulting in artifacts such as "floaters" and "background collapse" at unseen viewpoints. In this work, we introduce SparseGS, an efficient training pipeline designed to address the limitations of 3DGS in scenarios with sparse training views. SparseGS incorporates depth priors, novel depth rendering techniques, and a pruning heuristic to mitigate floater artifacts, alongside an Unseen Viewpoint Regularization module to alleviate background collapses. Our extensive evaluations on the Mip-NeRF360, LLFF, and DTU datasets demonstrate that SparseGS achieves high-quality reconstruction in both unbounded and forward-facing scenarios, with as few as 12 and 3 input images, respectively, while maintaining fast training and real-time rendering capabilities.