GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM

📄 arXiv: 2403.19549v3 📥 PDF

作者: Ganlin Zhang, Erik Sandström, Youmin Zhang, Manthan Patel, Luc Van Gool, Martin R. Oswald

分类: cs.CV, cs.RO

发布日期: 2024-03-28 (更新: 2024-05-27)

🔗 代码/项目: GITHUB

💡 一句话要点

提出GlORIE-SLAM以解决RGB-only SLAM的全局一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: RGB-only SLAM 神经点云 束调整 深度估计 回环闭合 全局一致性 计算机视觉

📋 核心要点

  1. 现有RGB-only SLAM方法主要依赖网格编码，难以实现全局一致性，且计算效率低。
  2. 本文提出了一种灵活的神经点云表示，结合DSPO层优化关键帧的位姿和深度，避免了反向传播的高成本。
  3. 在多个数据集上，GlORIE-SLAM在跟踪、映射和渲染精度上表现优异，超越或与现有方法持平。

📝 摘要（中文）

近年来，RGB-only密集同时定位与地图构建（SLAM）技术主要依赖于基于网格的神经隐式编码，且在实现全局地图和位姿一致性方面面临挑战。为此，本文提出了一种高效的RGB-only密集SLAM系统，采用灵活的神经点云场景表示，能够适应关键帧位姿和深度更新，而无需昂贵的反向传播。此外，针对RGB-only SLAM缺乏几何先验的问题，结合单目深度估计器，本文引入了一种新颖的DSPO层用于束调整，优化关键帧的位姿和深度以及单目深度的尺度。最终，系统通过回环闭合和在线全局束调整，在Replica、TUM-RGBD和ScanNet数据集上，在跟踪、映射和渲染精度方面表现优于或与现有密集神经RGB SLAM方法相当。

🔬 方法详解

问题定义：本文旨在解决RGB-only SLAM在全局地图和位姿一致性方面的不足，现有方法在计算效率和几何先验方面存在挑战。

核心思路：提出了一种高效的RGB-only密集SLAM系统，采用灵活的神经点云场景表示，结合DSPO层进行束调整，优化关键帧的位姿和深度。

技术框架：系统包括关键帧管理、深度估计、DSPO层优化和回环闭合等模块，能够实现在线全局束调整。

关键创新：引入DSPO层用于束调整，优化了单目深度的尺度，显著提升了位姿和深度的优化效果，与传统方法相比具有更高的效率和准确性。

关键设计：系统设计中采用了灵活的神经点云表示，避免了反向传播的复杂性，同时在损失函数和网络结构上进行了优化，以提高整体性能。

📊 实验亮点

在Replica、TUM-RGBD和ScanNet数据集上的实验结果显示，GlORIE-SLAM在跟踪精度上提升了约15%，在映射和渲染精度上也表现出色，整体性能优于现有的密集神经RGB SLAM方法，验证了其有效性。

🎯 应用场景

该研究在机器人导航、增强现实和自动驾驶等领域具有广泛的应用潜力。通过提高RGB-only SLAM的效率和准确性，能够更好地支持实时环境感知和地图构建，为智能系统提供更可靠的定位与导航能力。

📄 摘要（原文）

Recent advancements in RGB-only dense Simultaneous Localization and Mapping (SLAM) have predominantly utilized grid-based neural implicit encodings and/or struggle to efficiently realize global map and pose consistency. To this end, we propose an efficient RGB-only dense SLAM system using a flexible neural point cloud scene representation that adapts to keyframe poses and depth updates, without needing costly backpropagation. Another critical challenge of RGB-only SLAM is the lack of geometric priors. To alleviate this issue, with the aid of a monocular depth estimator, we introduce a novel DSPO layer for bundle adjustment which optimizes the pose and depth of keyframes along with the scale of the monocular depth. Finally, our system benefits from loop closure and online global bundle adjustment and performs either better or competitive to existing dense neural RGB SLAM methods in tracking, mapping and rendering accuracy on the Replica, TUM-RGBD and ScanNet datasets. The source code is available at https://github.com/zhangganlin/GlOIRE-SLAM