Depth-guided NeRF Training via Earth Mover's Distance

📄 arXiv: 2403.13206v2 📥 PDF

作者: Anita Rau, Josiah Aklilu, F. Christopher Holsinger, Serena Yeung-Levy

分类: cs.CV, cs.AI

发布日期: 2024-03-19 (更新: 2024-09-04)

备注: Accepted to ECCV 2024

💡 一句话要点

提出基于地球移动距离的深度引导NeRF训练方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 深度学习 计算机视觉 三维重建 深度预测 不确定性建模 扩散模型

📋 核心要点

  1. 现有的NeRF训练方法在光度损失方面信息不足，难以区分不同几何形状。
  2. 本文提出使用预训练的扩散模型来预测深度，并通过地球移动距离来监督深度先验的不确定性。
  3. 实验结果显示，深度引导的NeRF在标准深度指标上大幅超越基线，同时保持光度性能。

📝 摘要（中文）

神经辐射场（NeRF）通常通过最小化渲染损失来训练，但光度损失在区分不同几何形状时信息不足。以往研究通过深度监督来改善这一问题，利用预训练深度网络的密集预测作为伪真值。然而，深度先验的准确性在实际应用中难以捕捉。本文提出了一种新方法，通过使用现成的预训练扩散模型来预测深度并在去噪过程中捕捉不确定性。我们采用地球移动距离来监督光线终止距离分布，而不是通过L2损失强制渲染深度与深度先验完全一致。实验结果表明，深度引导的NeRF在标准深度指标上显著优于所有基线，同时在光度测量上保持性能。

🔬 方法详解

问题定义：本文解决的是在NeRF训练中，光度损失不足以有效区分不同几何形状的问题。现有方法依赖于深度先验，但其准确性在实际应用中难以保证。

核心思路：论文提出使用现成的预训练扩散模型来预测深度，并在去噪过程中捕捉深度的不确定性。通过地球移动距离来监督光线终止距离分布，而非强制渲染深度与深度先验完全一致。

技术框架：整体架构包括深度预测模块、去噪过程和基于地球移动距离的监督机制。首先，使用扩散模型生成深度预测，然后在训练过程中通过地球移动距离对光线终止距离进行监督。

关键创新：最重要的技术创新在于使用现成的扩散模型来处理深度预测和不确定性，而不是依赖于自定义训练的深度网络。这一方法显著提高了深度先验的有效性。

关键设计：在损失函数设计上，采用地球移动距离作为监督标准，避免了传统L2损失的局限性。同时，模型结构上结合了深度预测和去噪过程，确保了深度信息的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，深度引导的NeRF在标准深度指标上超越所有基线，提升幅度显著，具体性能数据未提供，但整体表现优于传统方法，同时在光度测量上保持了良好的性能。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、虚拟现实和增强现实等场景，能够有效提升三维重建和场景理解的精度。未来，该方法可能在自动驾驶、机器人导航等领域发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Neural Radiance Fields (NeRFs) are trained to minimize the rendering loss of predicted viewpoints. However, the photometric loss often does not provide enough information to disambiguate between different possible geometries yielding the same image. Previous work has thus incorporated depth supervision during NeRF training, leveraging dense predictions from pre-trained depth networks as pseudo-ground truth. While these depth priors are assumed to be perfect once filtered for noise, in practice, their accuracy is more challenging to capture. This work proposes a novel approach to uncertainty in depth priors for NeRF supervision. Instead of using custom-trained depth or uncertainty priors, we use off-the-shelf pretrained diffusion models to predict depth and capture uncertainty during the denoising process. Because we know that depth priors are prone to errors, we propose to supervise the ray termination distance distribution with Earth Mover's Distance instead of enforcing the rendered depth to replicate the depth prior exactly through L2-loss. Our depth-guided NeRF outperforms all baselines on standard depth metrics by a large margin while maintaining performance on photometric measures.