VRS-NeRF: Visual Relocalization with Sparse Neural Radiance Field

📄 arXiv: 2404.09271v1 📥 PDF

作者: Fei Xue, Ignas Budvytis, Daniel Olmeda Reino, Roberto Cipolla

分类: cs.CV, cs.RO

发布日期: 2024-04-14

备注: source code https://github.com/feixue94/vrs-nerf

💡 一句话要点

提出VRS-NeRF以解决视觉重定位效率与准确性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉重定位 稀疏神经辐射场 自动驾驶 机器人导航 虚拟现实 增强现实 深度学习

📋 核心要点

  1. 现有的视觉重定位方法在大规模户外场景中准确性不足，且层次方法的效率较低。
  2. VRS-NeRF框架通过引入显式几何图和隐式学习图，优化了稀疏神经辐射场的渲染过程。
  3. 在7Scenes、CambridgeLandmarks和Aachen数据集上的实验表明，该方法在准确性和效率上均有显著提升。

📝 摘要（中文）

视觉重定位是自动驾驶、机器人及虚拟/增强现实中的关键技术。尽管已有绝对姿态回归（APR）、场景坐标回归（SCR）和层次方法（HM）等框架，但APR和SCR在大规模户外场景中的准确性有限，而HM虽然准确却需要存储大量2D描述符，导致效率低下。本文提出了一种高效且准确的框架VRS-NeRF，利用稀疏神经辐射场进行视觉重定位。我们引入了显式几何图（EGM）用于3D地图表示，以及隐式学习图（ILM）用于稀疏补丁渲染，从而减少地图大小并显著降低渲染时间。实验结果表明，该方法在多个数据集上表现出比APR和SCR更好的准确性，并且在效率上优于HM。

🔬 方法详解

问题定义：本文旨在解决现有视觉重定位方法在大规模户外场景中的准确性不足和效率低下的问题。APR和SCR方法在准确性上存在局限，而HM方法虽然准确，但需要存储大量2D描述符，导致效率低下。

核心思路：VRS-NeRF框架的核心思路是结合显式几何图（EGM）和隐式学习图（ILM），通过稀疏神经辐射场（NeRF）进行高效的视觉重定位。EGM提供稀疏2D点的先验信息，ILM则利用这些点渲染补丁，从而减少对2D描述符的依赖。

技术框架：该框架主要包括两个模块：显式几何图（EGM）用于3D地图表示，隐式学习图（ILM）用于稀疏补丁的渲染。EGM提供了稀疏点的几何信息，而ILM则专注于这些点的有效渲染，显著降低了渲染时间。

关键创新：VRS-NeRF的创新在于通过引入EGM和ILM，优化了传统HM方法的效率，同时保持了其准确性。这一设计使得系统能够在不牺牲性能的前提下，减少存储需求和计算开销。

关键设计：在参数设置上，EGM和ILM的设计确保了稀疏点的有效利用，损失函数则针对渲染质量进行了优化。此外，网络结构采用了适应性调整，以提高渲染速度和准确性。整体架构的设计使得渲染过程更加高效。

📊 实验亮点

在7Scenes、CambridgeLandmarks和Aachen数据集上的实验结果显示，VRS-NeRF在准确性上优于传统的APR和SCR方法，并且在效率上接近HM方法，且显著减少了渲染时间，提升幅度明显。

🎯 应用场景

VRS-NeRF框架在自动驾驶、机器人导航以及虚拟/增强现实等领域具有广泛的应用潜力。通过提高视觉重定位的效率和准确性，该技术可以显著提升自主系统的导航能力和用户体验，推动相关技术的进一步发展。

📄 摘要（原文）

Visual relocalization is a key technique to autonomous driving, robotics, and virtual/augmented reality. After decades of explorations, absolute pose regression (APR), scene coordinate regression (SCR), and hierarchical methods (HMs) have become the most popular frameworks. However, in spite of high efficiency, APRs and SCRs have limited accuracy especially in large-scale outdoor scenes; HMs are accurate but need to store a large number of 2D descriptors for matching, resulting in poor efficiency. In this paper, we propose an efficient and accurate framework, called VRS-NeRF, for visual relocalization with sparse neural radiance field. Precisely, we introduce an explicit geometric map (EGM) for 3D map representation and an implicit learning map (ILM) for sparse patches rendering. In this localization process, EGP provides priors of spare 2D points and ILM utilizes these sparse points to render patches with sparse NeRFs for matching. This allows us to discard a large number of 2D descriptors so as to reduce the map size. Moreover, rendering patches only for useful points rather than all pixels in the whole image reduces the rendering time significantly. This framework inherits the accuracy of HMs and discards their low efficiency. Experiments on 7Scenes, CambridgeLandmarks, and Aachen datasets show that our method gives much better accuracy than APRs and SCRs, and close performance to HMs but is much more efficient.