SLAIM: Robust Dense Neural SLAM for Online Tracking and Mapping

📄 arXiv: 2404.11419v1 📥 PDF

作者: Vincent Cartillier, Grant Schindler, Irfan Essa

分类: cs.CV

发布日期: 2024-04-17

💡 一句话要点

提出SLAIM以解决NeRF-SLAM跟踪性能不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 SLAM 跟踪优化 高斯金字塔 KL正则化 几何体表示 实时建模

📋 核心要点

  1. 现有的NeRF-SLAM系统在跟踪性能上普遍低于传统SLAM算法，主要由于优化过程中的局部最小值和缺乏初始对应点。
  2. 论文提出了一种新的粗到细跟踪优化策略，通过在NeRF上实现高斯金字塔滤波器来解决跟踪性能不足的问题。
  3. 在多个数据集上进行的实验表明，SLAIM在跟踪和重建精度方面达到了最先进的结果，超越了现有方法。

📝 摘要（中文）

我们提出了SLAIM（同时定位与隐式映射），这是一种针对神经辐射场SLAM（NeRF-SLAM）的新型粗到细跟踪模型，旨在实现最先进的跟踪性能。现有的NeRF-SLAM系统在跟踪性能上普遍低于传统SLAM算法，主要由于图像空间优化过程中的局部最小值和缺乏初始对应点。我们通过在NeRF上实现高斯金字塔滤波器，促进粗到细的跟踪优化策略，从而缓解这些限制。此外，我们的方法采用体积密度表示，并在光线终止分布上引入新的KL正则化，约束场景几何体由空白空间和不透明表面组成。实验结果表明，我们在多个数据集（ScanNet、TUM、Replica）上展示了跟踪和重建精度的最先进结果。

🔬 方法详解

问题定义：本论文旨在解决现有NeRF-SLAM系统在跟踪性能上的不足，尤其是在图像空间优化时面临的局部最小值和缺乏初始对应点的问题。

核心思路：我们提出了一种粗到细的跟踪优化策略，通过在NeRF上实现高斯金字塔滤波器来改善跟踪性能，同时采用体积密度表示和KL正则化来优化几何体的表示。

技术框架：整体架构包括高斯金字塔滤波器、体积密度表示和KL正则化模块，结合局部和全局束调整，形成一个稳健且准确的SLAM解决方案。

关键创新：本研究的核心创新在于引入高斯金字塔滤波器和KL正则化，显著改善了NeRF-SLAM的跟踪性能和几何体表示，与传统方法相比具有本质区别。

关键设计：在设计中，我们设置了高斯金字塔滤波器的层数和每层的参数，采用了新的损失函数以优化光线终止分布，并在网络结构中引入了体积密度表示以增强几何体的准确性。

📊 实验亮点

在多个数据集（ScanNet、TUM、Replica）上的实验结果显示，SLAIM在跟踪和重建精度方面达到了最先进的水平，相较于传统SLAM方法，跟踪性能提升显著，具体数据未提供。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和虚拟现实等场景，能够为实时环境建模和定位提供更高效的解决方案。随着技术的进步，SLAIM有望在自动驾驶和智能城市等未来应用中发挥重要作用。

📄 摘要（原文）

We present SLAIM - Simultaneous Localization and Implicit Mapping. We propose a novel coarse-to-fine tracking model tailored for Neural Radiance Field SLAM (NeRF-SLAM) to achieve state-of-the-art tracking performance. Notably, existing NeRF-SLAM systems consistently exhibit inferior tracking performance compared to traditional SLAM algorithms. NeRF-SLAM methods solve camera tracking via image alignment and photometric bundle-adjustment. Such optimization processes are difficult to optimize due to the narrow basin of attraction of the optimization loss in image space (local minima) and the lack of initial correspondences. We mitigate these limitations by implementing a Gaussian pyramid filter on top of NeRF, facilitating a coarse-to-fine tracking optimization strategy. Furthermore, NeRF systems encounter challenges in converging to the right geometry with limited input views. While prior approaches use a Signed-Distance Function (SDF)-based NeRF and directly supervise SDF values by approximating ground truth SDF through depth measurements, this often results in suboptimal geometry. In contrast, our method employs a volume density representation and introduces a novel KL regularizer on the ray termination distribution, constraining scene geometry to consist of empty space and opaque surfaces. Our solution implements both local and global bundle-adjustment to produce a robust (coarse-to-fine) and accurate (KL regularizer) SLAM solution. We conduct experiments on multiple datasets (ScanNet, TUM, Replica) showing state-of-the-art results in tracking and in reconstruction accuracy.