Is Vanilla MLP in Neural Radiance Field Enough for Few-shot View Synthesis?

📄 arXiv: 2403.06092v1 📥 PDF

作者: Hanxin Zhu, Tianyu He, Xin Li, Bingchen Li, Zhibo Chen

分类: cs.CV

发布日期: 2024-03-10

备注: Accepted by CVPR 2024

💡 一句话要点

提出多输入MLP以解决少量视图合成中的过拟合问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 多层感知器 少量视图合成 过拟合 计算机视觉 深度学习

📋 核心要点

  1. 现有的NeRF方法在少量视图合成时容易过拟合，导致合成效果不佳。
  2. 本文提出的多输入MLP（mi-MLP）通过在每层中整合位置信息和视角信息，减少了过拟合现象。
  3. 实验结果显示，mi-MLP的PSNR从14.73提升至24.23，整体框架在多个基准上达到了最先进的性能。

📝 摘要（中文）

神经辐射场（NeRF）通过多层感知器（MLP）和体积渲染程序在新视图合成中表现出色。然而，在少量已知视图的情况下，模型容易过拟合。为了解决这一问题，本文首次从网络结构的角度提出了一种正交的方法。我们提出的多输入MLP（mi-MLP）将位置和视角信息整合到每一层，以防止过拟合而不损害细节合成。此外，我们分别建模颜色和体积密度，并提出两个正则化项。大量实验表明，mi-MLP的实现简单却效果显著，PSNR从14.73提升至24.23，整体框架在多个基准上实现了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决在少量已知视图情况下，NeRF模型容易过拟合的问题。现有方法通常依赖于引入学习先验或额外正则化，但效果有限。

核心思路：我们提出的mi-MLP通过将输入信息（位置和视角）整合到每一层，减少了模型的过拟合，同时保持了细节合成的质量。这种设计使得模型在参数减少的情况下，仍能有效捕捉场景细节。

技术框架：整体架构包括一个多输入的MLP网络，输入信息在每层中被处理，此外还引入了颜色和体积密度的独立建模。框架中包含两个正则化项，以进一步减少合成中的伪影。

关键创新：最重要的创新在于提出了mi-MLP结构，它通过在每层中整合输入信息，显著降低了过拟合风险。这一方法与传统的正则化手段形成了鲜明对比。

关键设计：在网络设计中，我们调整了参数设置，确保每层都能有效处理位置信息和视角信息。此外，损失函数中引入了两个正则化项，以增强模型的泛化能力。整体设计简单易实现，但效果显著。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的mi-MLP在PSNR指标上从基线的14.73提升至24.23，显示出显著的性能提升。此外，整体框架在多个基准测试中达到了最先进的结果，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等领域，能够在少量视图条件下生成高质量的场景合成。这一方法的实际价值在于提升了少样本学习的能力，未来可能推动相关技术在实时渲染和场景重建中的应用。

📄 摘要（原文）

Neural Radiance Field (NeRF) has achieved superior performance for novel view synthesis by modeling the scene with a Multi-Layer Perception (MLP) and a volume rendering procedure, however, when fewer known views are given (i.e., few-shot view synthesis), the model is prone to overfit the given views. To handle this issue, previous efforts have been made towards leveraging learned priors or introducing additional regularizations. In contrast, in this paper, we for the first time provide an orthogonal method from the perspective of network structure. Given the observation that trivially reducing the number of model parameters alleviates the overfitting issue, but at the cost of missing details, we propose the multi-input MLP (mi-MLP) that incorporates the inputs (i.e., location and viewing direction) of the vanilla MLP into each layer to prevent the overfitting issue without harming detailed synthesis. To further reduce the artifacts, we propose to model colors and volume density separately and present two regularization terms. Extensive experiments on multiple datasets demonstrate that: 1) although the proposed mi-MLP is easy to implement, it is surprisingly effective as it boosts the PSNR of the baseline from $14.73$ to $24.23$. 2) the overall framework achieves state-of-the-art results on a wide range of benchmarks. We will release the code upon publication.