High-Fidelity SLAM Using Gaussian Splatting with Rendering-Guided Densification and Regularized Optimization

📄 arXiv: 2403.12535v2 📥 PDF

作者: Shuo Sun, Malcolm Mielle, Achim J. Lilienthal, Martin Magnusson

分类: cs.RO, cs.CV

发布日期: 2024-03-19 (更新: 2024-10-02)

备注: Accepted by IROS 2024

💡 一句话要点

提出基于高斯点云的RGBD SLAM以解决精度与重建质量问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: RGBD SLAM 高斯密集化 位姿跟踪 渲染损失 正则化优化 三维重建 动态环境

📋 核心要点

  1. 现有的SLAM方法在动态环境中容易出现位姿跟踪不准确和重建质量下降的问题。
  2. 本研究提出了一种基于高斯密集化和正则化优化的SLAM方法，能够有效提升位姿跟踪和重建质量。
  3. 实验结果表明，该方法在Replica数据集上达到了最先进的性能，并在TUM数据集上表现出色。

📝 摘要（中文）

我们提出了一种基于3D高斯点云的密集RGBD SLAM系统，能够提供度量上准确的位姿跟踪和视觉上逼真的重建。为此，我们首先提出了一种基于渲染损失的高斯密集化策略，以映射未观察区域并优化重新观察区域。其次，我们引入额外的正则化参数，以缓解连续映射中的遗忘问题，避免参数过拟合最新帧，从而导致之前帧的渲染质量下降。通过以可微的方式最小化重新渲染损失，我们实现了基于高斯参数的映射和跟踪。与近期的神经网络和高斯点云RGBD SLAM基线相比，我们的方法在合成数据集Replica上取得了最先进的结果，并在真实数据集TUM上表现出竞争力。

🔬 方法详解

问题定义：本论文旨在解决现有RGBD SLAM系统在动态环境中位姿跟踪不准确和重建质量下降的问题。现有方法往往在处理未观察区域和连续映射时存在遗忘现象，导致渲染质量下降。

核心思路：我们提出了一种基于渲染损失的高斯密集化策略，结合正则化参数来优化映射过程，从而提高位姿跟踪的准确性和重建的视觉质量。

技术框架：该方法的整体架构包括高斯密集化模块、正则化优化模块和基于高斯参数的映射与跟踪模块。通过最小化重新渲染损失，实现了对未观察区域的有效映射和对已观察区域的优化。

关键创新：本研究的主要创新在于引入了基于渲染损失的高斯密集化策略和额外的正则化参数，这些设计有效缓解了连续映射中的遗忘问题，显著提升了渲染质量。

关键设计：我们在损失函数中引入了渲染损失的最小化策略，并设计了适应性正则化参数，以防止模型过拟合最新帧。该方法的网络结构采用了高斯参数化的方式，确保了高效的计算和优化。

📊 实验亮点

实验结果显示，该方法在合成数据集Replica上达到了最先进的性能，具体表现为在位姿跟踪和重建质量上均优于现有的基线方法。同时，在真实数据集TUM上也展现了竞争力，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和虚拟现实等场景，能够在动态环境中实现高精度的位姿跟踪和高质量的三维重建。未来，该技术有望推动智能设备在复杂环境中的自主操作能力。

📄 摘要（原文）

We propose a dense RGBD SLAM system based on 3D Gaussian Splatting that provides metrically accurate pose tracking and visually realistic reconstruction. To this end, we first propose a Gaussian densification strategy based on the rendering loss to map unobserved areas and refine reobserved areas. Second, we introduce extra regularization parameters to alleviate the forgetting problem in the continuous mapping problem, where parameters tend to overfit the latest frame and result in decreasing rendering quality for previous frames. Both mapping and tracking are performed with Gaussian parameters by minimizing re-rendering loss in a differentiable way. Compared to recent neural and concurrently developed gaussian splatting RGBD SLAM baselines, our method achieves state-of-the-art results on the synthetic dataset Replica and competitive results on the real-world dataset TUM.