CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs

📄 arXiv: 2403.16885v1 📥 PDF

作者: Yingji Zhong, Lanqing Hong, Zhenguo Li, Dan Xu

分类: cs.CV

发布日期: 2024-03-25

备注: The paper is accepted by CVPR 2024. Project page is available at https://zhongyingji.github.io/CVT-xRF

💡 一句话要点

提出CVT-xRF以解决稀疏输入下NeRF性能下降问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 稀疏输入 体素采样 Transformer 一致性学习 光照合成 计算机视觉

📋 核心要点

  1. 现有NeRF方法在稀疏输入下表现不佳，主要由于场景覆盖不足导致的密度和颜色预测错误。
  2. 本文提出了一种基于体素的光线采样策略，结合Transformer模型来增强3D空间的一致性。
  3. 实验结果表明，所提方法在稀疏输入情况下显著提升了性能，达到了与当前方法相当的效果。

📝 摘要（中文）

神经辐射场（NeRF）在密集输入下展现了出色的光照合成能力，但在稀疏输入下，通常会出现密度或颜色预测不准确的问题，主要由于场景覆盖不足导致的部分和稀疏监督，从而显著降低性能。本文提出了一种新方法，通过建模3D空间场一致性来改善NeRF在稀疏输入下的表现。具体而言，采用基于体素的光线采样策略，确保采样光线与3D空间中的某个体素相交，并在体素内随机采样额外点，利用Transformer推断每条光线上的其他点属性，进而增强相邻点之间的一致性。实验结果表明，该方法在稀疏输入设置下显著提升了不同辐射场的性能，并与现有方法表现相当。

🔬 方法详解

问题定义：本文旨在解决NeRF在稀疏输入下的性能下降问题，现有方法主要依赖于光线级一致性，未能有效处理3D空间中的稀疏监督问题。

核心思路：通过引入体素级的光线采样策略，确保采样光线与3D空间中的体素相交，并在体素内随机采样额外点，利用Transformer推断其他点的属性，从而增强3D空间的一致性。

技术框架：整体架构包括光线采样、体素内点采样、Transformer推断和体积渲染四个主要模块。首先，采用体素采样策略确保光线与体素相交；然后，在体素内随机采样点并通过Transformer进行属性推断，最后将推断结果整合到体积渲染中。

关键创新：最重要的创新在于通过建模3D空间的一致性来提升NeRF的性能，区别于传统的2D图像平面上的光线级一致性方法。

关键设计：在损失函数中引入对比损失，以进一步增强体素内点之间的一致性，同时在网络结构中采用Transformer以提高推断能力。具体参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果显示，所提CVT-xRF方法在稀疏输入设置下，相较于现有方法在多个辐射场上实现了显著的性能提升，具体提升幅度达到XX%（具体数据需根据实验结果填写），并在多个基准测试中表现出色。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和电影制作等需要高质量视图合成的场景。通过提高稀疏输入下的合成性能，能够更好地支持实时渲染和交互式应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Neural Radiance Fields (NeRF) have shown impressive capabilities for photorealistic novel view synthesis when trained on dense inputs. However, when trained on sparse inputs, NeRF typically encounters issues of incorrect density or color predictions, mainly due to insufficient coverage of the scene causing partial and sparse supervision, thus leading to significant performance degradation. While existing works mainly consider ray-level consistency to construct 2D learning regularization based on rendered color, depth, or semantics on image planes, in this paper we propose a novel approach that models 3D spatial field consistency to improve NeRF's performance with sparse inputs. Specifically, we first adopt a voxel-based ray sampling strategy to ensure that the sampled rays intersect with a certain voxel in 3D space. We then randomly sample additional points within the voxel and apply a Transformer to infer the properties of other points on each ray, which are then incorporated into the volume rendering. By backpropagating through the rendering loss, we enhance the consistency among neighboring points. Additionally, we propose to use a contrastive loss on the encoder output of the Transformer to further improve consistency within each voxel. Experiments demonstrate that our method yields significant improvement over different radiance fields in the sparse inputs setting, and achieves comparable performance with current works.