WSCLoc: Weakly-Supervised Sparse-View Camera Relocalization

📄 arXiv: 2403.15272v1 📥 PDF

作者: Jialu Wang, Kaichen Zhou, Andrew Markham, Niki Trigoni

分类: cs.CV

发布日期: 2024-03-22

💡 一句话要点

提出WSCLoc以解决稀疏视图下的弱监督相机重定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 相机重定位 弱监督学习 稀疏视图 深度学习 图像重建 几何约束 机器人导航 增强现实

📋 核心要点

  1. 现有方法在稀疏视图条件下的相机重定位性能显著下降，获取真实位姿标签的成本高昂。
  2. WSCLoc系统通过两个阶段优化图像重建质量和位姿信息，结合时间信息和几何约束。
  3. 实验验证表明，WSCLoc在稀疏视图场景中实现了优于现有方法的位姿估计精度。

📝 摘要（中文）

尽管深度学习在相机重定位任务上取得了进展，但获取训练所需的真实位姿标签仍然是一项昂贵的工作。现有的弱监督方法在轻量级标签生成方面表现优异，但在稀疏视图场景中的性能显著下降。为应对这一挑战，我们提出WSCLoc系统，能够定制多种基于深度学习的重定位模型，以提升其在弱监督和稀疏视图条件下的性能。该系统分为两个阶段，初始阶段使用基于多层感知机的WFT-NeRF结构共同优化图像重建质量和初始位姿信息，并引入时间信息以确保学习过程的稳定性。第二阶段则通过时间编码的随机视图合成和考虑位姿、深度及RGB信息的几何约束进行优化。实验结果表明，我们的弱监督重定位解决方案在稀疏视图场景中实现了与最先进的相机重定位方法相当的位姿估计精度。

🔬 方法详解

问题定义：本论文旨在解决在稀疏视图条件下相机重定位的准确性问题。现有的弱监督方法在这种情况下性能下降，且获取真实位姿标签的成本高昂。

核心思路：论文提出WSCLoc系统，通过两个阶段的优化来提升重定位性能。初始阶段优化图像重建和位姿信息，第二阶段则结合几何约束进行进一步优化。

技术框架：WSCLoc系统分为两个主要阶段：第一阶段使用WFT-NeRF结构共同优化图像重建质量和初始位姿信息，第二阶段则优化预训练的WFT-NeRF和WFT-Pose，利用时间编码的随机视图合成和几何约束进行监督。

关键创新：最重要的创新在于使用$ ext{sim}(3)$优化来显式施加尺度约束，而非传统的SE(3)优化。这一设计使得学习过程更加稳定。

关键设计：在网络结构上，采用多层感知机的WFT-NeRF，并引入时间信息作为输入。损失函数设计上，结合了图像重建损失和几何约束，以确保优化过程的有效性。实验中使用的两个数据集分别为室外和室内场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WSCLoc在稀疏视图场景中的位姿估计精度显著提升，与最先进的相机重定位方法相当。具体而言，WSCLoc在两个公开数据集上的表现均优于现有的弱监督方法，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和虚拟现实等场景，能够在缺乏充分视图信息的情况下实现准确的相机重定位。这将极大地提升相关技术在实际应用中的可靠性和效率，推动智能设备的普及与发展。

📄 摘要（原文）

Despite the advancements in deep learning for camera relocalization tasks, obtaining ground truth pose labels required for the training process remains a costly endeavor. While current weakly supervised methods excel in lightweight label generation, their performance notably declines in scenarios with sparse views. In response to this challenge, we introduce WSCLoc, a system capable of being customized to various deep learning-based relocalization models to enhance their performance under weakly-supervised and sparse view conditions. This is realized with two stages. In the initial stage, WSCLoc employs a multilayer perceptron-based structure called WFT-NeRF to co-optimize image reconstruction quality and initial pose information. To ensure a stable learning process, we incorporate temporal information as input. Furthermore, instead of optimizing SE(3), we opt for $\mathfrak{sim}(3)$ optimization to explicitly enforce a scale constraint. In the second stage, we co-optimize the pre-trained WFT-NeRF and WFT-Pose. This optimization is enhanced by Time-Encoding based Random View Synthesis and supervised by inter-frame geometric constraints that consider pose, depth, and RGB information. We validate our approaches on two publicly available datasets, one outdoor and one indoor. Our experimental results demonstrate that our weakly-supervised relocalization solutions achieve superior pose estimation accuracy in sparse-view scenarios, comparable to state-of-the-art camera relocalization methods. We will make our code publicly available.