Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting

📄 arXiv: 2403.15530v1 📥 PDF

作者: Zheng Zhang, Wenbo Hu, Yixing Lao, Tong He, Hengshuang Zhao

分类: cs.CV

发布日期: 2024-03-22

💡 一句话要点

提出Pixel-GS以解决3D Gaussian Splatting中的模糊与伪影问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯分布 实时渲染 计算机图形学 虚拟现实 增强现实 新视图合成

📋 核心要点

  1. 现有的3D Gaussian Splatting方法在初始点云质量不足时，容易出现模糊和伪影，影响重建效果。
  2. 本文提出的Pixel-GS方法通过考虑每个视图中被高斯覆盖的像素数量，动态调整梯度平均，从而促进大高斯的生长。
  3. 实验结果显示，Pixel-GS在多个数据集上实现了显著的渲染质量提升，同时保持了实时渲染的性能。

📝 摘要（中文）

3D Gaussian Splatting (3DGS)在新视图合成和实时渲染性能上表现出色，但其依赖于初始点云的质量，导致在初始化点不足的区域出现模糊和针状伪影。为了解决这一问题，本文提出了一种新方法Pixel-GS，考虑每个视图中被高斯覆盖的像素数量，以此作为权重动态平均来自不同视图的梯度，从而有效促进大高斯的生长。实验结果表明，该方法在Mip-NeRF 360和Tanks & Temples数据集上实现了最先进的渲染质量，同时保持实时渲染速度。

🔬 方法详解

问题定义：本文旨在解决3D Gaussian Splatting中由于初始点云质量不足导致的模糊和伪影问题。现有方法仅考虑可观察视图的平均梯度幅度，无法有效处理大高斯的生长，尤其是在边界区域。

核心思路：Pixel-GS方法通过引入被高斯覆盖的像素数量作为权重，动态调整来自不同视图的梯度平均，从而促进大高斯的有效生长。这种设计使得在初始化点不足的区域也能实现更准确的重建。

技术框架：该方法的整体架构包括高斯生长条件的计算、像素覆盖数量的统计以及梯度场的缩放策略。首先计算每个视图中被高斯覆盖的像素数量，然后根据这些数量动态调整梯度，最后通过距离相机的缩放策略抑制近距离的漂浮物。

关键创新：Pixel-GS的核心创新在于引入像素覆盖数量作为权重来动态调整梯度平均，这一方法与传统的仅依赖平均梯度幅度的策略有本质区别，显著提升了大高斯的生长能力。

关键设计：在技术细节上，本文设计了一个简单有效的策略来根据相机距离缩放梯度场，以抑制近距离的漂浮物。此外，采用了动态加权的方式来处理不同视图的梯度，从而提升了重建的精度和细节。

📊 实验亮点

在Mip-NeRF 360和Tanks & Temples数据集上的实验表明，Pixel-GS方法在渲染质量上达到了最先进的水平，相较于基线方法，渲染质量提升幅度显著，同时保持了实时渲染的速度，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实以及计算机图形学中的实时渲染等场景。通过提高3D重建的质量和速度，Pixel-GS能够在游戏开发、影视制作和科学可视化等多个领域产生实际价值，推动相关技术的发展与应用。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results while advancing real-time rendering performance. However, it relies heavily on the quality of the initial point cloud, resulting in blurring and needle-like artifacts in areas with insufficient initializing points. This is mainly attributed to the point cloud growth condition in 3DGS that only considers the average gradient magnitude of points from observable views, thereby failing to grow for large Gaussians that are observable for many viewpoints while many of them are only covered in the boundaries. To this end, we propose a novel method, named Pixel-GS, to take into account the number of pixels covered by the Gaussian in each view during the computation of the growth condition. We regard the covered pixel numbers as the weights to dynamically average the gradients from different views, such that the growth of large Gaussians can be prompted. As a result, points within the areas with insufficient initializing points can be grown more effectively, leading to a more accurate and detailed reconstruction. In addition, we propose a simple yet effective strategy to scale the gradient field according to the distance to the camera, to suppress the growth of floaters near the camera. Extensive experiments both qualitatively and quantitatively demonstrate that our method achieves state-of-the-art rendering quality while maintaining real-time rendering speed, on the challenging Mip-NeRF 360 and Tanks & Temples datasets.