Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras

📄 arXiv: 2311.16728v2 📥 PDF

作者: Huajian Huang, Longwei Li, Hui Cheng, Sai-Kit Yeung

分类: cs.CV

发布日期: 2023-11-28 (更新: 2024-04-08)

备注: CVPR 2024. Code: https://github.com/HuajianUP/Photo-SLAM - Project Page: https://huajianup.github.io/research/Photo-SLAM/

💡 一句话要点

提出Photo-SLAM以解决便携设备上SLAM系统的资源消耗问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SLAM 神经渲染 真实感映射 显式几何特征 隐式光度特征 高斯金字塔 嵌入式平台 机器人应用

📋 核心要点

  1. 现有SLAM方法过于依赖隐式表示，导致资源消耗大，无法在便携设备上有效运行。
  2. 本文提出Photo-SLAM框架，结合显式几何特征与隐式光度特征，实现高效定位与真实感映射。
  3. 实验结果显示，Photo-SLAM在PSNR上提升30%，渲染速度快数百倍，表现优于当前最先进的SLAM系统。

📝 摘要（中文）

近年来，神经渲染与SLAM系统的结合在联合定位和真实感视图重建方面展现出良好效果。然而，现有方法完全依赖隐式表示，资源消耗过大，无法在便携设备上运行，偏离了SLAM的初衷。本文提出了Photo-SLAM，一个新颖的SLAM框架，采用超原始图进行同时定位和真实感映射。我们利用显式几何特征进行定位，同时学习隐式光度特征以表示观察环境的纹理信息。此外，我们引入基于高斯金字塔的训练方法，逐步学习多层次特征，提升真实感映射性能。大量实验表明，Photo-SLAM在在线真实感映射方面显著优于现有最先进的SLAM系统，PSNR提升30%，在Replica数据集上的渲染速度快数百倍。Photo-SLAM能够在Jetson AGX Orin等嵌入式平台上实时运行，展现出在机器人应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决现有SLAM系统在便携设备上运行时资源消耗过大的问题，现有方法完全依赖隐式表示，限制了其实用性。

核心思路：我们提出了Photo-SLAM框架，通过结合显式几何特征与隐式光度特征，既能高效定位又能进行真实感映射，旨在优化资源使用。

技术框架：Photo-SLAM的整体架构包括超原始图的构建、显式几何特征的提取、隐式光度特征的学习，以及基于高斯金字塔的多层次特征训练，形成一个高效的SLAM系统。

关键创新：最重要的创新在于引入超原始图和高斯金字塔训练方法，使得系统在保持高效性的同时，能够实现高质量的真实感映射，与现有方法形成鲜明对比。

关键设计：在设计中，我们设置了特定的损失函数以平衡几何与光度特征的学习，同时优化了网络结构以适应嵌入式平台的计算能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Photo-SLAM在Replica数据集上的PSNR比现有最先进的SLAM系统高出30%，渲染速度提升数百倍，展示了其在在线真实感映射中的卓越性能，验证了其在实际应用中的可行性。

🎯 应用场景

Photo-SLAM的研究成果具有广泛的应用潜力，特别是在机器人导航、增强现实和虚拟现实等领域。其高效的实时性能和真实感映射能力，使其能够在移动设备上实现复杂环境的快速建图与定位，推动相关技术的实际应用与发展。

📄 摘要（原文）

The integration of neural rendering and the SLAM system recently showed promising results in joint localization and photorealistic view reconstruction. However, existing methods, fully relying on implicit representations, are so resource-hungry that they cannot run on portable devices, which deviates from the original intention of SLAM. In this paper, we present Photo-SLAM, a novel SLAM framework with a hyper primitives map. Specifically, we simultaneously exploit explicit geometric features for localization and learn implicit photometric features to represent the texture information of the observed environment. In addition to actively densifying hyper primitives based on geometric features, we further introduce a Gaussian-Pyramid-based training method to progressively learn multi-level features, enhancing photorealistic mapping performance. The extensive experiments with monocular, stereo, and RGB-D datasets prove that our proposed system Photo-SLAM significantly outperforms current state-of-the-art SLAM systems for online photorealistic mapping, e.g., PSNR is 30% higher and rendering speed is hundreds of times faster in the Replica dataset. Moreover, the Photo-SLAM can run at real-time speed using an embedded platform such as Jetson AGX Orin, showing the potential of robotics applications.