From Volume Rendering to 3D Gaussian Splatting: Theory and Applications

📄 arXiv: 2510.18101v1 📥 PDF

作者: Vitor Pereira Matias, Daniel Perazzo, Vinicius Silva, Alberto Raposo, Luiz Velho, Afonso Paiva, Tiago Novello

分类: cs.CV

发布日期: 2025-10-20

备注: Accepted at the Conference on Graphics, Patterns and Images (SIBGRAPI), math focused, 5 equations, 5 Figure, 5 pages of text and 1 of bibligraphy

💡 一句话要点

综述3D高斯溅射：从体渲染到应用，解决实时渲染与高质量重建难题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 体渲染 新视角合成 三维重建 实时渲染 神经渲染 可微分渲染

📋 核心要点

  1. 现有3D重建方法在实时渲染和高质量重建之间存在权衡，难以兼顾效率与真实感。
  2. 3D高斯溅射通过显式建模场景为3D高斯函数集合，实现高效栅格化和实时渲染。
  3. 该方法虽然高效，但存在内存占用大、光照烘焙、二次光线效果支持有限等问题。

📝 摘要（中文）

3D高斯溅射(3DGS)的持续发展正在根本上改变从姿态图像进行3D重建的问题。通过将场景显式地建模为3D高斯函数的集合，3DGS能够通过体素溅射实现高效的栅格化，从而与常见的图形管线无缝集成。尽管3DGS具有新视角合成的实时渲染能力，但它也存在内存占用大、将光照效果直接烘焙到其表示中的趋势以及对二次光线效果的支持有限等问题。本教程提供了一个简洁而全面的3DGS流程概述，从其溅射公式开始，然后探讨解决其局限性的主要工作。最后，我们调查了一系列利用3DGS进行表面重建、头像建模、动画和内容生成的应用，突出了其高效的渲染和对前馈管线的适用性。

🔬 方法详解

问题定义：论文旨在综述3D高斯溅射（3DGS）技术，该技术旨在解决从多视角图像中进行高效且高质量的3D场景重建问题。现有方法，如神经辐射场（NeRF），虽然能生成高质量的渲染效果，但渲染速度慢，难以满足实时应用的需求。而传统的基于网格的方法，虽然渲染速度快，但在处理复杂场景时容易出现伪影，且优化过程复杂。3DGS试图在渲染质量和速度之间找到平衡，但自身也存在内存占用高、光照效果烘焙以及对复杂光照效果支持不足等问题。

核心思路：3DGS的核心思路是将场景表示为一组3D高斯函数，每个高斯函数代表场景中的一个小的体积元素。通过将这些高斯函数投影到图像平面上，并使用可微分的栅格化方法进行渲染，可以实现高效的新视角合成。这种方法避免了NeRF中昂贵的体渲染过程，从而大大提高了渲染速度。同时，通过优化高斯函数的参数（如位置、协方差矩阵、颜色和透明度），可以重建出高质量的3D场景。

技术框架：3DGS的整体框架包括以下几个主要阶段：1) 初始化：使用SfM（Structure from Motion）等方法从输入图像中估计场景的初始3D结构，并初始化一组3D高斯函数。2) 渲染：将3D高斯函数投影到图像平面上，并使用可微分的栅格化方法进行渲染，生成新视角的图像。3) 优化：通过比较渲染图像与真实图像之间的差异，使用梯度下降等方法优化高斯函数的参数，从而提高重建质量。4) 自适应控制：根据高斯函数对重建的贡献，动态调整高斯函数的数量和参数，以提高重建效率和质量。

关键创新：3DGS最重要的技术创新点在于使用3D高斯函数作为场景的显式表示，并结合可微分的栅格化方法进行渲染。与NeRF等隐式表示方法相比，3DGS具有更高的渲染效率。与传统的基于网格的方法相比，3DGS具有更好的重建质量和更强的鲁棒性。此外，3DGS还引入了一系列自适应控制机制，可以动态调整高斯函数的数量和参数，从而提高重建效率和质量。

关键设计：3DGS的关键设计包括：1) 使用椭球高斯函数来表示场景中的体积元素，椭球的形状由协方差矩阵决定。2) 使用可微分的栅格化方法进行渲染，该方法可以计算每个像素的颜色和透明度，并将其用于图像合成。3) 使用基于梯度的优化方法来优化高斯函数的参数，包括位置、协方差矩阵、颜色和透明度。4) 引入自适应密度控制，根据高斯函数对重建的贡献，动态调整高斯函数的数量和参数。

📊 实验亮点

该综述总结了3DGS的主要进展，包括其高效的渲染能力和对前馈管线的适用性，并探讨了其在表面重建、头像建模、动画和内容生成等方面的应用。同时，也指出了3DGS的局限性，如内存占用大、光照烘焙以及对复杂光照效果支持不足等问题，并概述了解决这些问题的研究方向。

🎯 应用场景

3DGS技术在诸多领域具有广泛的应用前景，包括：虚拟现实/增强现实(VR/AR)、游戏开发、机器人导航、自动驾驶、三维重建、数字孪生、电影特效制作等。其高效的渲染能力和高质量的重建效果，使其能够为用户提供更加沉浸式和真实的体验，并为相关应用提供强大的技术支持。

📄 摘要（原文）

The problem of 3D reconstruction from posed images is undergoing a fundamental transformation, driven by continuous advances in 3D Gaussian Splatting (3DGS). By modeling scenes explicitly as collections of 3D Gaussians, 3DGS enables efficient rasterization through volumetric splatting, offering thus a seamless integration with common graphics pipelines. Despite its real-time rendering capabilities for novel view synthesis, 3DGS suffers from a high memory footprint, the tendency to bake lighting effects directly into its representation, and limited support for secondary-ray effects. This tutorial provides a concise yet comprehensive overview of the 3DGS pipeline, starting from its splatting formulation and then exploring the main efforts in addressing its limitations. Finally, we survey a range of applications that leverage 3DGS for surface reconstruction, avatar modeling, animation, and content generation-highlighting its efficient rendering and suitability for feed-forward pipelines.