DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization

📄 arXiv: 2403.06912v3 📥 PDF

作者: Jiahe Li, Jiawei Zhang, Xiao Bai, Jin Zheng, Xin Ning, Jun Zhou, Lin Gu

分类: cs.CV

发布日期: 2024-03-11 (更新: 2024-03-24)

备注: Accepted at CVPR 2024. Project page: https://fictionarry.github.io/DNGaussian/

💡 一句话要点

提出DNGaussian以解决稀疏视图下3D高斯辐射场的训练与推理效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯辐射场 深度正则化 视图合成 几何恢复 实时渲染

📋 核心要点

  1. 现有的辐射场合成方法在稀疏视图下训练成本高且推理速度慢，限制了其实际应用。
  2. DNGaussian通过深度正则化框架，结合硬深度和软深度正则化，优化了3D高斯辐射场的几何表现。
  3. 在多个数据集上，DNGaussian显著提高了合成质量，训练时间减少25倍，渲染速度提升超过3000倍。

📝 摘要（中文）

辐射场在从稀疏输入视图合成新视图方面表现出色，但现有方法面临高训练成本和慢推理速度的问题。本文提出DNGaussian，一个基于3D高斯辐射场的深度正则化框架，能够以低成本实现实时高质量的少量新视图合成。我们发现场景几何的退化主要与高斯原语的位置有关，通过深度约束可以缓解这一问题。我们提出了硬深度和软深度正则化，以在粗略的单目深度监督下恢复准确的场景几何，同时保持细致的颜色表现。实验结果表明，DNGaussian在LLFF、DTU和Blender数据集上表现优于现有方法，训练时间减少了25倍，渲染速度提升超过3000倍。

🔬 方法详解

问题定义：本文旨在解决在稀疏视图条件下，3D高斯辐射场的训练效率和几何表现退化的问题。现有方法在输入视图减少时，几何信息的准确性显著下降，导致合成效果不佳。

核心思路：DNGaussian通过引入深度正则化，特别是硬深度和软深度正则化，来恢复场景几何的准确性，同时保持颜色的细腻表现。该方法利用深度约束来优化高斯原语的位置，从而减轻几何退化。

技术框架：DNGaussian的整体架构包括数据输入、深度正则化模块、颜色重建模块和最终的视图合成模块。通过深度信息的引入，增强了对局部几何变化的关注。

关键创新：该研究的主要创新在于提出了全球-局部深度归一化技术，能够有效地处理小范围的深度变化，提升了合成效果的细节表现。与现有方法相比，DNGaussian在几何恢复和渲染速度上均有显著提升。

关键设计：在损失函数设计上，结合了深度正则化损失和颜色重建损失，以确保在训练过程中兼顾几何和颜色的准确性。同时，网络结构采用了适应性高斯原语分布，以优化场景的几何表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DNGaussian在LLFF、DTU和Blender数据集上的实验结果显示，其在合成质量上超越了现有最先进的方法，训练时间减少了25倍，渲染速度提升超过3000倍，展示了显著的性能优势。

🎯 应用场景

DNGaussian的研究成果在虚拟现实、游戏开发、影视特效等领域具有广泛的应用潜力。其高效的视图合成能力能够为实时渲染提供支持，提升用户体验。此外，该方法的低成本特性使其在资源受限的环境中也能发挥作用，推动相关技术的普及与发展。

📄 摘要（原文）

Radiance fields have demonstrated impressive performance in synthesizing novel views from sparse input views, yet prevailing methods suffer from high training costs and slow inference speed. This paper introduces DNGaussian, a depth-regularized framework based on 3D Gaussian radiance fields, offering real-time and high-quality few-shot novel view synthesis at low costs. Our motivation stems from the highly efficient representation and surprising quality of the recent 3D Gaussian Splatting, despite it will encounter a geometry degradation when input views decrease. In the Gaussian radiance fields, we find this degradation in scene geometry primarily lined to the positioning of Gaussian primitives and can be mitigated by depth constraint. Consequently, we propose a Hard and Soft Depth Regularization to restore accurate scene geometry under coarse monocular depth supervision while maintaining a fine-grained color appearance. To further refine detailed geometry reshaping, we introduce Global-Local Depth Normalization, enhancing the focus on small local depth changes. Extensive experiments on LLFF, DTU, and Blender datasets demonstrate that DNGaussian outperforms state-of-the-art methods, achieving comparable or better results with significantly reduced memory cost, a $25 \times$ reduction in training time, and over $3000 \times$ faster rendering speed.