RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting

📄 arXiv: 2404.19706v3 📥 PDF

作者: Zhexi Peng, Tianjia Shao, Yong Liu, Jingke Zhou, Yin Yang, Jingdong Wang, Kun Zhou

分类: cs.CV

发布日期: 2024-04-30 (更新: 2024-05-09)

备注: To be published in ACM SIGGRAPH 2024

DOI: 10.1145/3658233

💡 一句话要点

提出RTG-SLAM以解决大规模环境下实时3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 实时3D重建 高斯点云 RGBD相机 在线优化 大规模环境 相机跟踪 增强现实 虚拟现实

📋 核心要点

  1. 现有的3D重建方法在处理大规模环境时面临内存和计算成本高的问题，难以实现实时性能。
  2. 论文提出了一种新的高斯点云表示和在线优化方案，通过优化不稳定高斯点来提高效率。
  3. 实验结果表明，RTG-SLAM在重建速度和内存使用上显著优于现有的NeRF-based RGBD SLAM方法。

📝 摘要（中文）

我们提出了实时高斯SLAM（RTG-SLAM），这是一个针对大规模环境的实时3D重建系统，使用RGBD相机和高斯点云表示。该系统采用紧凑的高斯表示和高效的在线高斯优化方案，通过将每个高斯点强制设定为不透明或近乎透明，优化了内存和计算成本。与现有的基于NeRF的RGBD SLAM相比，我们的系统在重建质量上可与之媲美，但速度提高了约两倍，内存消耗减少了一半，并在新视角合成的真实感和相机跟踪精度上表现优越。

🔬 方法详解

问题定义：论文旨在解决大规模环境下实时3D重建的内存和计算成本高的问题。现有方法在处理复杂场景时往往需要大量重叠的高斯点，导致性能瓶颈。

核心思路：RTG-SLAM通过将每个高斯点设定为不透明或近乎透明，优化了表面拟合和残差颜色的处理，从而减少了重叠高斯点的需求，提升了实时性能。

技术框架：系统主要包括高斯表示模块、在线优化模块和渲染模块。高斯表示模块负责生成和管理高斯点，在线优化模块则根据像素的观测情况动态调整高斯点，渲染模块负责将优化后的高斯点渲染为3D场景。

关键创新：最重要的创新在于引入了不稳定和稳定高斯点的分类，优化仅针对不稳定高斯点，从而显著减少了需要优化的高斯点数量，提升了实时处理能力。

关键设计：在高斯点的生成中，系统根据像素的颜色和深度误差动态添加高斯点，并且在优化过程中只渲染不稳定高斯点占据的像素，确保了高效的内存使用和计算速度。

📊 实验亮点

实验结果显示，RTG-SLAM在重建速度上比现有的NeRF-based RGBD SLAM快约两倍，内存消耗减少一半，同时在新视角合成的真实感和相机跟踪精度上表现出色，展示了其在实时3D重建中的优越性。

🎯 应用场景

RTG-SLAM可广泛应用于机器人导航、增强现实和虚拟现实等领域，能够实时生成大规模环境的3D模型，提升用户体验和系统的智能化水平。未来，该技术有望在自动驾驶和智能城市建设中发挥重要作用。

📄 摘要（原文）

We present Real-time Gaussian SLAM (RTG-SLAM), a real-time 3D reconstruction system with an RGBD camera for large-scale environments using Gaussian splatting. The system features a compact Gaussian representation and a highly efficient on-the-fly Gaussian optimization scheme. We force each Gaussian to be either opaque or nearly transparent, with the opaque ones fitting the surface and dominant colors, and transparent ones fitting residual colors. By rendering depth in a different way from color rendering, we let a single opaque Gaussian well fit a local surface region without the need of multiple overlapping Gaussians, hence largely reducing the memory and computation cost. For on-the-fly Gaussian optimization, we explicitly add Gaussians for three types of pixels per frame: newly observed, with large color errors, and with large depth errors. We also categorize all Gaussians into stable and unstable ones, where the stable Gaussians are expected to well fit previously observed RGBD images and otherwise unstable. We only optimize the unstable Gaussians and only render the pixels occupied by unstable Gaussians. In this way, both the number of Gaussians to be optimized and pixels to be rendered are largely reduced, and the optimization can be done in real time. We show real-time reconstructions of a variety of large scenes. Compared with the state-of-the-art NeRF-based RGBD SLAM, our system achieves comparable high-quality reconstruction but with around twice the speed and half the memory cost, and shows superior performance in the realism of novel view synthesis and camera tracking accuracy.