Implicit Event-RGBD Neural SLAM

📄 arXiv: 2311.11013v3 📥 PDF

作者: Delin Qu, Chi Yan, Dong Wang, Jie Yin, Dan Xu, Bin Zhao, Xuelong Li

分类: cs.CV

发布日期: 2023-11-18 (更新: 2024-03-17)

备注: Accept at CVPR 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EN-SLAM以解决动态场景下的SLAM问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 隐式神经SLAM 事件数据 RGBD 运动模糊 光照变化 实时处理 跟踪精度 映射精度

📋 核心要点

  1. 现有隐式神经SLAM方法在运动模糊和光照变化等非理想场景中表现不佳，导致定位和映射的准确性下降。
  2. EN-SLAM框架通过引入可微分的相机响应函数渲染技术，结合事件数据和RGBD信息，优化隐式表示以提高跟踪和映射性能。
  3. 实验结果显示，EN-SLAM在跟踪绝对轨迹误差和映射精度方面超越了现有最先进的方法，并在复杂环境中实现了实时处理。

📝 摘要（中文）

隐式神经SLAM最近取得了显著进展，但现有方法在运动模糊和光照变化等非理想场景中面临重大挑战，导致收敛失败、定位漂移和映射失真。为此，我们提出EN-SLAM，这是首个事件-RGBD隐式神经SLAM框架，利用事件数据的高频率和高动态范围优势进行跟踪和映射。EN-SLAM引入了一种可微分的相机响应函数渲染技术，通过共享辐射场生成独特的RGB和事件相机数据，并通过捕获的事件和RGBD监督学习优化统一隐式表示。此外，基于事件的时间差特性，我们提出了一种时间聚合优化策略，显著提高了跟踪精度和鲁棒性。实验结果表明，我们的方法在各种挑战性环境中，在跟踪绝对轨迹误差和映射精度上均优于现有最先进的方法，实时性能达到17 FPS。

🔬 方法详解

问题定义：现有隐式神经SLAM方法在动态场景中容易受到运动模糊和光照变化的影响，导致收敛失败、定位漂移和映射失真等问题。

核心思路：EN-SLAM通过结合事件数据的高动态范围和高频率特性，提出了一种新的隐式神经SLAM框架，旨在提高跟踪和映射的鲁棒性和准确性。

技术框架：EN-SLAM的整体架构包括事件数据和RGBD数据的融合，采用可微分的相机响应函数渲染技术生成数据，并通过时间聚合优化策略进行联合跟踪和全局束调整。

关键创新：引入可微分的相机响应函数渲染技术和基于时间差的聚合优化策略是EN-SLAM的主要创新点，这使得框架能够有效利用事件数据的特性，显著提升了跟踪精度和鲁棒性。

关键设计：在损失函数设计上，EN-SLAM结合了事件和RGBD数据的监督信息，优化了统一隐式表示；在网络结构上，采用共享辐射场以实现RGB和事件数据的高效生成。

📊 实验亮点

实验结果表明，EN-SLAM在跟踪绝对轨迹误差（ATE）和映射精度（ACC）方面均优于现有最先进的方法，且在各种挑战性环境中实现了17 FPS的实时性能，展示了其在动态场景下的优越性。

🎯 应用场景

EN-SLAM框架在机器人导航、增强现实和自动驾驶等领域具有广泛的应用潜力。其高鲁棒性和实时性能使其能够在复杂和动态环境中进行高效的定位与映射，推动相关技术的进步和实际应用的落地。

📄 摘要（原文）

Implicit neural SLAM has achieved remarkable progress recently. Nevertheless, existing methods face significant challenges in non-ideal scenarios, such as motion blur or lighting variation, which often leads to issues like convergence failures, localization drifts, and distorted mapping. To address these challenges, we propose EN-SLAM, the first event-RGBD implicit neural SLAM framework, which effectively leverages the high rate and high dynamic range advantages of event data for tracking and mapping. Specifically, EN-SLAM proposes a differentiable CRF (Camera Response Function) rendering technique to generate distinct RGB and event camera data via a shared radiance field, which is optimized by learning a unified implicit representation with the captured event and RGBD supervision. Moreover, based on the temporal difference property of events, we propose a temporal aggregating optimization strategy for the event joint tracking and global bundle adjustment, capitalizing on the consecutive difference constraints of events, significantly enhancing tracking accuracy and robustness. Finally, we construct the simulated dataset DEV-Indoors and real captured dataset DEV-Reals containing 6 scenes, 17 sequences with practical motion blur and lighting changes for evaluations. Experimental results show that our method outperforms the SOTA methods in both tracking ATE and mapping ACC with a real-time 17 FPS in various challenging environments. Project page: https://delinqu.github.io/EN-SLAM.