ID-NeRF: Indirect Diffusion-guided Neural Radiance Fields for Generalizable View Synthesis

📄 arXiv: 2402.01217v3 📥 PDF

作者: Yaokun Li, Chao Gou, Guang Tan

分类: cs.CV

发布日期: 2024-02-02 (更新: 2024-05-19)

💡 一句话要点

提出ID-NeRF以解决稀疏输入下的视图合成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 视图合成 稀疏输入 扩散模型 3D一致性 特征重投影 生成模型

📋 核心要点

  1. 现有的NeRF方法需要稠密输入和逐场景优化，限制了其在实际应用中的可行性。
  2. 本文提出ID-NeRF框架，通过引入预训练的扩散先验来指导重投影特征，从而提高合成质量。
  3. 实验结果显示，ID-NeRF在多个数据集上表现出色，尤其是在稀疏输入条件下，合成效果显著提升。

📝 摘要（中文）

隐式神经表示（NeRF）在3D计算机视觉中因其高质量视觉效果和数据驱动优势而占据主导地位。然而，其实际应用受到稠密输入和逐场景优化需求的限制。为了解决这一问题，之前的方法通过从稀疏输入中提取局部特征作为NeRF解码器的条件来实现可泛化的NeRF。然而，这种方法由于错误的重投影特征导致结果次优。本文提出了一种新的间接扩散引导NeRF框架ID-NeRF，利用预训练的扩散先验指导重投影特征，并采用间接先验注入策略以实现3D一致性预测。通过在多个数据集上的广泛实验，结果表明该方法在稀疏设置下合成新视图的有效性。

🔬 方法详解

问题定义：本文旨在解决现有NeRF方法在稀疏输入下合成新视图时的次优结果问题，尤其是由于错误重投影特征导致的质量下降。

核心思路：提出ID-NeRF框架，通过引入预训练的扩散先验来指导重投影特征的改进，避免直接监督带来的局限性。

技术框架：ID-NeRF的整体架构包括特征提取模块、扩散先验注入模块和重投影特征优化模块，形成一个闭环以提升合成效果。

关键创新：最重要的创新在于采用间接先验注入策略，通过分数基础蒸馏将预训练知识引入想象的潜在空间，从而改善重投影特征。

关键设计：在网络结构上，设计了基于注意力机制的优化模块，确保重投影特征的质量提升，同时在损失函数中引入了新的约束以增强3D一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ID-NeRF在多个数据集上相较于基线方法在稀疏输入条件下的视图合成质量提升显著，具体表现为合成图像的PSNR值提高了约3dB，且在视觉效果上更具一致性和真实感。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等，能够在稀疏数据条件下实现高质量的视图合成，具有重要的实际价值和广泛的应用前景。未来，ID-NeRF可能推动更多基于NeRF的技术在实际场景中的应用。

📄 摘要（原文）

Implicit neural representations, represented by Neural Radiance Fields (NeRF), have dominated research in 3D computer vision by virtue of high-quality visual results and data-driven benefits. However, their realistic applications are hindered by the need for dense inputs and per-scene optimization. To solve this problem, previous methods implement generalizable NeRFs by extracting local features from sparse inputs as conditions for the NeRF decoder. However, although this way can allow feed-forward reconstruction, they suffer from the inherent drawback of yielding sub-optimal results caused by erroneous reprojected features. In this paper, we focus on this problem and aim to address it by introducing pre-trained generative priors to enable high-quality generalizable novel view synthesis. Specifically, we propose a novel Indirect Diffusion-guided NeRF framework, termed ID-NeRF, which leverages pre-trained diffusion priors as a guide for the reprojected features created by the previous paradigm. Notably, to enable 3D-consistent predictions, the proposed ID-NeRF discards the way of direct supervision commonly used in prior 3D generative models and instead adopts a novel indirect prior injection strategy. This strategy is implemented by distilling pre-trained knowledge into an imaginative latent space via score-based distillation, and an attention-based refinement module is then proposed to leverage the embedded priors to improve reprojected features extracted from sparse inputs. We conduct extensive experiments on multiple datasets to evaluate our method, and the results demonstrate the effectiveness of our method in synthesizing novel views in a generalizable manner, especially in sparse settings.