IFFNeRF: Initialisation Free and Fast 6DoF pose estimation from a single image and a NeRF model

📄 arXiv: 2403.12682v1 📥 PDF

作者: Matteo Bortolon, Theodore Tsesmelis, Stuart James, Fabio Poiesi, Alessio Del Bue

分类: cs.CV, cs.RO

发布日期: 2024-03-19

备注: Accepted ICRA 2024, Project page: https://mbortolon97.github.io/iffnerf/

💡 一句话要点

提出IFFNeRF以解决6DoF相机姿态估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6DoF姿态估计 神经辐射场 实时计算 相机姿态 机器学习 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在进行6DoF相机姿态估计时，通常需要一个接近真实解的初始姿态猜测，这限制了其实时应用。
  2. IFFNeRF通过消除初始姿态猜测的需求，利用NeRF模型和Metropolis-Hasting算法实现快速的相机姿态估计。
  3. 实验结果表明，IFFNeRF在角度和位移误差上分别比iNeRF提高了80.1%和67.3%，且在消费级硬件上可实现34fps的运行速度。

📝 摘要（中文）

我们提出IFFNeRF来估计给定图像的六自由度（6DoF）相机姿态，基于神经辐射场（NeRF）模型。IFFNeRF专为实时操作而设计，消除了对接近目标解的初始姿态猜测的需求。该方法利用Metropolis-Hasting算法从NeRF模型中采样表面点，通过像素级视图合成推导每条光线的颜色。通过选择查询图像与生成束之间的对应关系，利用最小二乘法估计相机姿态。我们通过学习的注意机制将查询图像嵌入与参数化光线的嵌入相结合，从而匹配与图像相关的光线。通过合成和真实评估设置，我们的方法在角度和位移误差精度上分别比iNeRF提高了80.1%和67.3%，在消费级硬件上以34fps的速度运行，且无需初始姿态猜测。

🔬 方法详解

问题定义：本论文旨在解决6DoF相机姿态估计中的初始姿态猜测问题。现有方法通常依赖于接近真实解的初始猜测，限制了实时应用的可能性。

核心思路：IFFNeRF的核心思路是通过实时采样和像素级视图合成，直接从NeRF模型中估计相机姿态，消除对初始姿态的依赖。

技术框架：该方法的整体架构包括三个主要模块：首先，利用Metropolis-Hasting算法从NeRF模型中采样表面点；其次，通过这些点发射光线并进行像素级视图合成；最后，利用最小二乘法通过匹配查询图像和生成束之间的对应关系来估计相机姿态。

关键创新：IFFNeRF的主要创新在于其消除了对初始姿态猜测的需求，并通过学习的注意机制有效地匹配与图像相关的光线，这与现有方法形成了显著区别。

关键设计：在技术细节方面，使用了Metropolis-Hasting算法进行表面点采样，设计了一个学习的注意机制来优化光线匹配，同时采用最小二乘法来解决姿态估计问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IFFNeRF在角度和位移误差上分别比iNeRF提高了80.1%和67.3%。此外，该方法在消费级硬件上以34fps的速度运行，展现了其在实时应用中的可行性。

🎯 应用场景

IFFNeRF在机器人导航、增强现实和虚拟现实等领域具有广泛的应用潜力。其实时性和高精度的姿态估计能力，可以显著提升这些应用的用户体验和系统性能。未来，该方法有望在更复杂的场景中得到进一步推广和应用。

📄 摘要（原文）

We introduce IFFNeRF to estimate the six degrees-of-freedom (6DoF) camera pose of a given image, building on the Neural Radiance Fields (NeRF) formulation. IFFNeRF is specifically designed to operate in real-time and eliminates the need for an initial pose guess that is proximate to the sought solution. IFFNeRF utilizes the Metropolis-Hasting algorithm to sample surface points from within the NeRF model. From these sampled points, we cast rays and deduce the color for each ray through pixel-level view synthesis. The camera pose can then be estimated as the solution to a Least Squares problem by selecting correspondences between the query image and the resulting bundle. We facilitate this process through a learned attention mechanism, bridging the query image embedding with the embedding of parameterized rays, thereby matching rays pertinent to the image. Through synthetic and real evaluation settings, we show that our method can improve the angular and translation error accuracy by 80.1% and 67.3%, respectively, compared to iNeRF while performing at 34fps on consumer hardware and not requiring the initial pose guess.