GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting

📄 arXiv: 2311.11700v4 📥 PDF

作者: Chi Yan, Delin Qu, Dan Xu, Bin Zhao, Zhigang Wang, Dong Wang, Xuelong Li

分类: cs.CV

发布日期: 2023-11-20 (更新: 2024-04-07)

备注: Accepted to CVPR 2024(highlight). Project Page: https://gs-slam.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GS-SLAM以解决实时SLAM系统中的效率与准确性平衡问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯表示 实时SLAM 地图构建 姿态估计 动态场景

📋 核心要点

  1. 现有SLAM方法在效率和准确性之间难以取得良好平衡，尤其是在动态场景下。
  2. GS-SLAM通过引入3D高斯表示和自适应扩展策略，提升了地图构建的效率和准确性。
  3. 在Replica和TUM-RGBD数据集上，GS-SLAM的性能与现有最先进的实时方法相当，显示出显著的运行时优化。

📝 摘要（中文）

本文介绍了GS-SLAM，这是第一个在同时定位与地图构建(SLAM)系统中利用3D高斯表示的方法。该方法在效率与准确性之间实现了更好的平衡。与最近采用神经隐式表示的SLAM方法相比，GS-SLAM采用了实时可微分的点云渲染管道，显著加速了地图优化和RGB-D渲染。我们提出了一种自适应扩展策略，能够有效地添加新观察到的场景几何体或删除噪声3D高斯，从而重建整个场景并改进先前观察区域的映射。此外，在姿态跟踪过程中，设计了一种有效的粗到细技术，以选择可靠的3D高斯表示来优化相机姿态，从而减少运行时间并提高估计的鲁棒性。我们的实验结果在Replica和TUM-RGBD数据集上与现有的实时方法相比表现出竞争力。

🔬 方法详解

问题定义：本文旨在解决现有SLAM方法在动态场景下效率与准确性之间的矛盾，尤其是在处理复杂几何体时的局限性。现有方法往往依赖静态对象的合成，难以适应实时变化的环境。

核心思路：GS-SLAM的核心思路是利用3D高斯表示来动态重建场景几何体，并通过自适应扩展策略来优化地图构建过程。这种设计使得系统能够实时更新和优化场景表示，提升了整体性能。

技术框架：GS-SLAM的整体架构包括三个主要模块：3D高斯表示模块、实时可微分渲染管道和姿态跟踪模块。首先，通过3D高斯表示来构建场景的几何体；其次，利用可微分渲染管道加速地图优化和RGB-D渲染；最后，通过姿态跟踪模块实现相机位置的精确估计。

关键创新：GS-SLAM的关键创新在于首次将3D高斯表示引入SLAM系统，并结合自适应扩展策略，使得系统能够动态添加或删除3D高斯，从而有效重建整个场景。这与现有方法的静态对象合成形成了本质区别。

关键设计：在设计中，GS-SLAM采用了自适应扩展策略来管理3D高斯的数量，并通过粗到细的技术选择可靠的高斯表示进行姿态优化。此外，系统的损失函数和参数设置经过精心调整，以确保在实时处理中的高效性和准确性。

📊 实验亮点

GS-SLAM在Replica和TUM-RGBD数据集上的实验结果显示，其在地图优化和姿态估计方面的运行时间显著低于现有最先进的实时SLAM方法，且在准确性上保持竞争力。这表明GS-SLAM在效率和准确性之间实现了良好的平衡，具有实际应用价值。

🎯 应用场景

GS-SLAM在机器人导航、增强现实和自动驾驶等领域具有广泛的应用潜力。其高效的地图构建和实时姿态估计能力使其能够在动态环境中提供可靠的定位服务，推动智能设备的自主决策能力。未来，GS-SLAM有望与其他传感器融合，进一步提升其应用范围和性能。

📄 摘要（原文）

In this paper, we introduce \textbf{GS-SLAM} that first utilizes 3D Gaussian representation in the Simultaneous Localization and Mapping (SLAM) system. It facilitates a better balance between efficiency and accuracy. Compared to recent SLAM methods employing neural implicit representations, our method utilizes a real-time differentiable splatting rendering pipeline that offers significant speedup to map optimization and RGB-D rendering. Specifically, we propose an adaptive expansion strategy that adds new or deletes noisy 3D Gaussians in order to efficiently reconstruct new observed scene geometry and improve the mapping of previously observed areas. This strategy is essential to extend 3D Gaussian representation to reconstruct the whole scene rather than synthesize a static object in existing methods. Moreover, in the pose tracking process, an effective coarse-to-fine technique is designed to select reliable 3D Gaussian representations to optimize camera pose, resulting in runtime reduction and robust estimation. Our method achieves competitive performance compared with existing state-of-the-art real-time methods on the Replica, TUM-RGBD datasets. Project page: https://gs-slam.github.io/.