UP-NeRF: Unconstrained Pose-Prior-Free Neural Radiance Fields

📄 arXiv: 2311.03784v2 📥 PDF

作者: Injae Kim, Minhyuk Choi, Hyunwoo J. Kim

分类: cs.CV, cs.LG

发布日期: 2023-11-07 (更新: 2023-11-08)

备注: Neural Information Processing Systems (NeurIPS), 2023. The code is available at https://github.com/mlvlab/UP-NeRF

💡 一句话要点

提出UP-NeRF以解决无约束图像下的NeRF优化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 无约束图像 姿态估计 瞬态遮挡物 计算机视觉 图像合成 虚拟现实

📋 核心要点

  1. 现有方法在处理无约束图像时面临挑战，尤其是光照变化和瞬态遮挡物的影响。
  2. UP-NeRF通过优化颜色无关特征场和引入瞬态遮挡物模块，消除了对相机姿态先验的依赖。
  3. 实验结果显示，UP-NeRF在Phototourism数据集上表现优越，相较于BARF及其变体有显著提升。

📝 摘要（中文）

神经辐射场（NeRF）在给定图像和相机姿态的情况下实现了高保真的新视角合成。尽管后续研究成功消除了对姿态先验的需求，但这些方法仅限于简单场景，难以处理具有变化光照和瞬态遮挡物的无约束图像。本文提出了UP-NeRF（无约束姿态先验自由神经辐射场），通过优化颜色无关特征场和独立模块来处理瞬态遮挡物，从而提高姿态估计的鲁棒性。实验结果表明，UP-NeRF在挑战性的互联网照片集合Phototourism数据集上优于现有基线方法，包括BARF及其变体。

🔬 方法详解

问题定义：本文旨在解决在无约束图像集合中优化NeRF时缺乏相机姿态先验的问题。现有方法在处理复杂场景时表现不佳，尤其是在光照变化和遮挡物存在的情况下。

核心思路：UP-NeRF的核心思路是通过引入颜色无关特征场和瞬态遮挡物模块，来优化NeRF并提高姿态估计的鲁棒性。这样的设计使得模型能够在复杂环境中更好地处理图像数据。

技术框架：UP-NeRF的整体架构包括两个主要模块：一个是优化颜色无关特征场的模块，另一个是处理瞬态遮挡物的独立模块。此外，论文还引入了候选头以增强姿态估计的稳定性。

关键创新：UP-NeRF的关键创新在于其无约束姿态先验的优化方法，尤其是通过瞬态遮挡物模块来减小遮挡对姿态估计的影响。这与现有方法的本质区别在于不再依赖于简单的图像集合或视频序列。

关键设计：在设计上，UP-NeRF采用了特定的损失函数来优化颜色无关特征场，并设置了瞬态遮挡物模块以阻挡其对姿态估计的影响。此外，候选头的引入也增强了模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Phototourism数据集上的实验结果显示，UP-NeRF在处理无约束图像时，相较于BARF及其变体，性能提升显著，具体提升幅度达到XX%（具体数据未知），验证了其在复杂场景下的有效性和鲁棒性。

🎯 应用场景

UP-NeRF的研究成果在计算机视觉、虚拟现实和增强现实等领域具有广泛的应用潜力。通过优化无约束图像集合的视角合成，该方法能够提升图像生成的质量和真实感，进而推动相关技术的发展和应用。

📄 摘要（原文）

Neural Radiance Field (NeRF) has enabled novel view synthesis with high fidelity given images and camera poses. Subsequent works even succeeded in eliminating the necessity of pose priors by jointly optimizing NeRF and camera pose. However, these works are limited to relatively simple settings such as photometrically consistent and occluder-free image collections or a sequence of images from a video. So they have difficulty handling unconstrained images with varying illumination and transient occluders. In this paper, we propose $\textbf{UP-NeRF}$ ($\textbf{U}$nconstrained $\textbf{P}$ose-prior-free $\textbf{Ne}$ural $\textbf{R}$adiance $\textbf{F}$ields) to optimize NeRF with unconstrained image collections without camera pose prior. We tackle these challenges with surrogate tasks that optimize color-insensitive feature fields and a separate module for transient occluders to block their influence on pose estimation. In addition, we introduce a candidate head to enable more robust pose estimation and transient-aware depth supervision to minimize the effect of incorrect prior. Our experiments verify the superior performance of our method compared to the baselines including BARF and its variants in a challenging internet photo collection, $\textit{Phototourism}$ dataset.