A Survey on 3D Gaussian Splatting

📄 arXiv: 2401.03890v9 📥 PDF

作者: Guikun Chen, Wenguan Wang

分类: cs.CV, cs.AI, cs.GR, cs.MM

发布日期: 2024-01-08 (更新: 2026-04-09)

备注: Accepted by ACM Computing Surveys; Paper list: https://github.com/guikunchen/Awesome3DGS ; Benchmark: https://github.com/guikunchen/3DGS-Benchmarks

💡 一句话要点

提出3D高斯点云技术以解决实时渲染与可编辑性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 实时渲染 可编辑性 虚拟现实 互动媒体 显式场景表示

📋 核心要点

  1. 现有隐式神经模型在实时渲染和编辑性方面存在局限，难以满足高效3D重建的需求。
  2. 论文提出3D高斯点云技术，通过使用可学习的3D高斯分布实现显式场景表示，结合可微渲染算法提升渲染速度与可编辑性。
  3. 通过对多个基准任务的比较分析，3D GS在渲染速度和表现力上显著优于现有主流模型，展现出广泛的应用潜力。

📝 摘要（中文）

3D高斯点云（GS）作为一种变革性技术，在辐射场中展现出独特优势。与主流隐式神经模型不同，3D GS利用数百万个可学习的3D高斯分布进行显式场景表示。结合可微渲染算法，该方法实现了实时渲染和前所未有的可编辑性，成为3D重建和表示领域的潜在变革者。本文系统回顾了3D GS的最新进展和关键贡献，深入探讨其基本原理及发展动力，并分析其在虚拟现实和互动媒体等领域的实际应用。最后，文章识别了当前挑战并提出未来研究方向，为新手和资深研究者提供了宝贵的资源。

🔬 方法详解

问题定义：论文要解决的具体问题是如何在3D重建中实现高效的实时渲染和可编辑性。现有的隐式神经模型在这方面存在性能瓶颈，难以满足实际应用需求。

核心思路：论文的核心解决思路是采用3D高斯点云技术，通过数百万个可学习的3D高斯分布来实现显式的场景表示。这种设计使得渲染过程更加高效，并且提升了场景的可编辑性。

技术框架：整体架构包括三个主要模块：3D高斯生成模块、可微渲染模块和性能评估模块。首先生成3D高斯点云，然后通过可微渲染算法进行实时渲染，最后对模型进行性能评估。

关键创新：最重要的技术创新点在于将3D高斯分布与可微渲染相结合，形成了一种新的显式场景表示方法。这与传统的隐式神经网络方法本质上不同，后者通常依赖于复杂的网络结构进行场景重建。

关键设计：关键设计包括高斯分布的参数设置、损失函数的选择以及网络结构的优化。具体而言，论文中采用了特定的损失函数来优化高斯点云的生成，并通过实验验证了不同参数设置对渲染效果的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3D高斯点云技术在多个基准任务中表现优异，渲染速度提升达到了数倍，且在场景编辑方面的灵活性显著高于传统隐式模型。这些结果验证了该方法在实际应用中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和互动媒体等。3D高斯点云技术的实时渲染能力和可编辑性使其在游戏开发、影视制作以及科学可视化等领域具有重要的实际价值，未来可能推动这些领域的技术进步与创新。

📄 摘要（原文）

3D Gaussian splatting (GS) has emerged as a transformative technique in radiance fields. Unlike mainstream implicit neural models, 3D GS uses millions of learnable 3D Gaussians for an explicit scene representation. Paired with a differentiable rendering algorithm, this approach achieves real-time rendering and unprecedented editability, making it a potential game-changer for 3D reconstruction and representation. In the present paper, we provide the first systematic overview of the recent developments and critical contributions in 3D GS. We begin with a detailed exploration of the underlying principles and the driving forces behind the emergence of 3D GS, laying the groundwork for understanding its significance. A focal point of our discussion is the practical applicability of 3D GS. By enabling unprecedented rendering speed, 3D GS opens up a plethora of applications, ranging from virtual reality to interactive media and beyond. This is complemented by a comparative analysis of leading 3D GS models, evaluated across various benchmark tasks to highlight their performance and practical utility. The survey concludes by identifying current challenges and suggesting potential avenues for future research. Through this survey, we aim to provide a valuable resource for both newcomers and seasoned researchers, fostering further exploration and advancement in explicit radiance field.