Taming Latent Diffusion Model for Neural Radiance Field Inpainting

📄 arXiv: 2404.09995v2 📥 PDF

作者: Chieh Hubert Lin, Changil Kim, Jia-Bin Huang, Qinbo Li, Chih-Yao Ma, Johannes Kopf, Ming-Hsuan Yang, Hung-Yu Tseng

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-04-15 (更新: 2024-11-13)

备注: Accepted to ECCV 2024. Project page: https://hubert0527.github.io/MALD-NeRF

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出潜在扩散模型以解决NeRF修复中的几何合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 扩散模型 3D重建 图像修复 对抗训练 纹理合成 几何合成

📋 核心要点

  1. 现有方法在完全未覆盖区域合成合理几何形状存在困难，主要由于扩散模型生成内容的高多样性。
  2. 论文提出通过场景定制调节扩散模型的随机性，并使用掩蔽对抗训练减轻纹理偏移。
  3. 实验结果表明，所提框架在多种真实场景中实现了最先进的NeRF修复效果，显著提升了合成质量。

📝 摘要（中文）

神经辐射场（NeRF）是一种基于多视图图像进行3D重建的表示方法。尽管近期有研究展示了使用扩散先验对重建NeRF进行编辑的初步成功，但在完全未覆盖区域合成合理几何形状方面仍然存在困难。主要原因在于扩散模型生成内容的高多样性，导致辐射场难以收敛到清晰且确定的几何形状。此外，应用潜在扩散模型于真实数据时，常因自编码错误导致纹理偏移与图像条件不一致。这两个问题在使用像素距离损失时进一步加剧。为了解决这些问题，本文提出通过场景定制来调节扩散模型的随机性，并通过掩蔽对抗训练来减轻纹理偏移。经过严格实验，我们的框架在各种真实场景中实现了最先进的NeRF修复结果。

🔬 方法详解

问题定义：本文旨在解决在NeRF修复任务中，完全未覆盖区域的几何合成问题。现有方法由于扩散模型的高多样性和自编码错误，导致生成的几何形状不够清晰和一致。

核心思路：通过对扩散模型进行场景定制，降低其随机性，同时采用掩蔽对抗训练来减轻纹理偏移，从而提高修复效果的稳定性和一致性。

技术框架：整体架构包括数据预处理、扩散模型的场景定制、掩蔽对抗训练和后处理阶段。每个模块相互配合，以实现高质量的NeRF修复。

关键创新：最重要的创新在于通过场景定制调节扩散模型的随机性，和使用掩蔽对抗训练来解决纹理偏移问题，这与传统方法的固定随机性和简单损失函数设计有本质区别。

关键设计：在损失函数设计上，避免使用常用的像素和感知损失，采用更适合NeRF修复任务的损失函数，以提升合成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提框架在多种真实场景中实现了最先进的NeRF修复效果，相较于基线方法，合成质量提升显著，具体性能数据未提供，但实验表明在几何一致性和纹理细节方面均有显著改善。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发以及影视特效制作等。通过提高NeRF修复的质量，可以在这些领域中实现更真实的3D场景重建，提升用户体验和视觉效果。未来，该技术可能推动更广泛的3D内容生成和编辑应用。

📄 摘要（原文）

Neural Radiance Field (NeRF) is a representation for 3D reconstruction from multi-view images. Despite some recent work showing preliminary success in editing a reconstructed NeRF with diffusion prior, they remain struggling to synthesize reasonable geometry in completely uncovered regions. One major reason is the high diversity of synthetic contents from the diffusion model, which hinders the radiance field from converging to a crisp and deterministic geometry. Moreover, applying latent diffusion models on real data often yields a textural shift incoherent to the image condition due to auto-encoding errors. These two problems are further reinforced with the use of pixel-distance losses. To address these issues, we propose tempering the diffusion model's stochasticity with per-scene customization and mitigating the textural shift with masked adversarial training. During the analyses, we also found the commonly used pixel and perceptual losses are harmful in the NeRF inpainting task. Through rigorous experiments, our framework yields state-of-the-art NeRF inpainting results on various real-world scenes. Project page: https://hubert0527.github.io/MALD-NeRF