Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

📄 arXiv: 2312.10070v2 📥 PDF

作者: Vladimir Yugay, Yue Li, Theo Gevers, Martin R. Oswald

分类: cs.CV, cs.RO

发布日期: 2023-12-06 (更新: 2024-03-22)

💡 一句话要点

Gaussian-SLAM：基于高斯溅射的真实感稠密SLAM，实现交互式重建与渲染。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SLAM 三维重建 高斯溅射 实时渲染 稠密建图

📋 核心要点

  1. 现有稠密SLAM方法难以在大型场景中实现实时、高质量的重建与渲染，尤其是在计算资源有限的情况下。
  2. Gaussian-SLAM采用3D高斯分布表示场景，并提出子地图策略，实现场景的独立优化，从而提高可扩展性。
  3. 通过光度与几何损失最小化进行相机跟踪，并在合成与真实数据集上验证了其在建图、跟踪和渲染方面的优越性。

📝 摘要（中文）

本文提出了一种使用3D高斯分布作为场景表示的稠密同步定位与建图(SLAM)方法。该方法能够从真实世界的单目RGBD视频中实现交互时间级别的重建和照片级真实感的渲染。为此，我们提出了一种新颖有效的策略，用于为新探索的区域播种新的高斯分布，并进行有效的在线优化，这种优化独立于场景大小，因此可以扩展到更大的场景。这是通过将场景组织成独立优化的子地图来实现的，这些子地图不需要保存在内存中。我们进一步通过最小化输入帧和渲染帧之间的光度损失和几何损失来实现帧到模型的相机跟踪。高斯表示允许对真实世界场景进行高质量的照片级真实感实时渲染。在合成和真实世界数据集上的评估表明，与现有的神经稠密SLAM方法相比，在建图、跟踪和渲染方面具有竞争性或更优越的性能。

🔬 方法详解

问题定义：现有的稠密SLAM方法，特别是基于神经表示的方法，通常面临计算复杂度高、内存占用大、难以扩展到大型场景的问题。这些方法在实时性和渲染质量之间往往需要权衡，难以同时满足交互式重建和照片级真实感渲染的需求。

核心思路：Gaussian-SLAM的核心思路是利用3D高斯分布来表示场景，并采用一种分而治之的策略，将整个场景划分为多个子地图。每个子地图可以独立进行优化，从而降低了计算复杂度，提高了可扩展性。此外，高斯分布本身具有良好的可微性和易于渲染的特性，使得该方法能够实现高质量的实时渲染。

技术框架：Gaussian-SLAM的整体框架包括以下几个主要模块：1) 高斯分布初始化：在新探索的区域播种新的高斯分布，用于表示场景的几何和外观信息。2) 子地图管理：将场景划分为多个子地图，每个子地图包含一组高斯分布。3) 独立优化：对每个子地图进行独立的优化，包括高斯分布的位置、大小、颜色等参数。4) 相机跟踪：通过最小化输入帧和渲染帧之间的光度损失和几何损失来实现帧到模型的相机跟踪。5) 渲染：使用高斯溅射技术，从高斯分布中渲染出高质量的图像。

关键创新：Gaussian-SLAM的关键创新在于其将3D高斯分布作为场景表示，并结合子地图策略实现了高效的在线优化。与传统的基于体素或网格的SLAM方法相比，高斯分布具有更紧凑的表示形式和更易于优化的特性。与基于神经表示的SLAM方法相比，Gaussian-SLAM避免了复杂的神经网络训练过程，从而提高了实时性和可扩展性。

关键设计：Gaussian-SLAM的关键设计包括：1) 高斯分布的参数化：每个高斯分布由位置、协方差矩阵、颜色等参数组成。2) 光度损失和几何损失：使用光度损失来约束渲染图像与输入图像之间的颜色一致性，使用几何损失来约束高斯分布的位置与深度信息的一致性。3) 子地图的划分策略：采用基于关键帧的子地图划分策略，将相邻的关键帧划分为同一个子地图。4) 优化算法：使用基于梯度下降的优化算法来优化高斯分布的参数。

📊 实验亮点

Gaussian-SLAM在合成和真实世界数据集上进行了评估，结果表明其在建图、跟踪和渲染方面具有竞争性或更优越的性能。与现有的神经稠密SLAM方法相比，Gaussian-SLAM在渲染质量和实时性方面取得了显著的提升。例如，在某些数据集上，Gaussian-SLAM的渲染质量指标PSNR提高了2-3dB，同时保持了交互式的帧率。

🎯 应用场景

Gaussian-SLAM具有广泛的应用前景，包括增强现实(AR)、虚拟现实(VR)、机器人导航、三维重建等领域。该方法可以用于构建高质量的3D地图，为AR/VR应用提供逼真的场景体验。此外，该方法还可以用于机器人导航，帮助机器人在未知环境中进行自主定位和建图。未来，该方法有望应用于自动驾驶、城市建模等更广泛的领域。

📄 摘要（原文）

We present a dense simultaneous localization and mapping (SLAM) method that uses 3D Gaussians as a scene representation. Our approach enables interactive-time reconstruction and photo-realistic rendering from real-world single-camera RGBD videos. To this end, we propose a novel effective strategy for seeding new Gaussians for newly explored areas and their effective online optimization that is independent of the scene size and thus scalable to larger scenes. This is achieved by organizing the scene into sub-maps which are independently optimized and do not need to be kept in memory. We further accomplish frame-to-model camera tracking by minimizing photometric and geometric losses between the input and rendered frames. The Gaussian representation allows for high-quality photo-realistic real-time rendering of real-world scenes. Evaluation on synthetic and real-world datasets demonstrates competitive or superior performance in mapping, tracking, and rendering compared to existing neural dense SLAM methods.