GaussianPro: 3D Gaussian Splatting with Progressive Propagation

📄 arXiv: 2402.14650v1 📥 PDF

作者: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen

分类: cs.CV

发布日期: 2024-02-22

备注: See the project page for code, data: https://kcheng1021.github.io/gaussianpro.github.io

💡 一句话要点

提出GaussianPro以解决3D Gaussian Splatting初始化不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯渲染 神经渲染 渐进传播 结构光束法 补丁匹配 多视角立体 自动驾驶 虚拟现实

📋 核心要点

  1. 现有的3D Gaussian Splatting方法依赖于结构光束法生成的初始点云，处理大规模场景时常常无法提供足够的点，导致优化困难和渲染质量低下。
  2. 本文提出GaussianPro，通过渐进传播策略引导3D高斯的稠密化，利用现有几何体的先验知识和补丁匹配技术生成准确的新高斯。
  3. 在Waymo数据集上的实验结果显示，GaussianPro在PSNR方面比3DGS提高了1.15dB，显著提升了渲染质量。

📝 摘要（中文）

3D Gaussian Splatting（3DGS）的出现为神经渲染领域带来了革命性的进展，能够实现实时高质量渲染。然而，3DGS严重依赖于结构光束法（SfM）技术生成的初始点云，而在处理大规模场景时，SfM往往无法在无纹理表面生成足够的点，导致3DGS优化困难和渲染质量低下。为此，本文提出了一种名为GaussianPro的新方法，采用渐进传播策略引导3D高斯的稠密化。与3DGS中简单的分裂和克隆策略相比，我们的方法利用现有重建几何体的先验知识和补丁匹配技术，生成位置和方向准确的新高斯。实验结果表明，在Waymo数据集上，我们的方法在PSNR方面比3DGS提高了1.15dB，验证了其有效性。

🔬 方法详解

问题定义：本文旨在解决3D Gaussian Splatting在大规模场景中因初始化点云不足而导致的优化困难和渲染质量低下的问题。现有的SfM技术在无纹理表面生成的点数量不足，影响了3DGS的性能。

核心思路：GaussianPro的核心思路是采用渐进传播策略，通过引导3D高斯的稠密化，利用已重建几何体的先验知识和补丁匹配技术，生成位置和方向更为准确的新高斯。

技术框架：GaussianPro的整体架构包括数据输入、初始高斯生成、渐进传播模块和最终渲染阶段。首先，从多视角图像中提取特征，然后通过补丁匹配生成初始高斯，接着通过渐进传播策略不断优化和稠密化高斯，最后进行渲染。

关键创新：GaussianPro的主要创新在于其渐进传播策略，与传统的简单分裂和克隆策略相比，能够更有效地利用场景几何体的先验信息，显著提高高斯的准确性和渲染质量。

关键设计：在设计中，GaussianPro采用了特定的损失函数来优化高斯的位置和方向，同时在补丁匹配过程中引入了多视角信息，以提高生成高斯的质量和数量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Waymo数据集上的实验结果表明，GaussianPro在PSNR方面比3DGS提高了1.15dB，显著提升了渲染质量，验证了其在处理大规模场景中的有效性。

🎯 应用场景

GaussianPro在大规模场景的实时渲染中具有广泛的应用潜力，尤其适用于自动驾驶、虚拟现实和增强现实等领域。其高效的渲染能力和优质的视觉效果将推动相关技术的发展，并提升用户体验。

📄 摘要（原文）

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.