Entangled View-Epipolar Information Aggregation for Generalizable Neural Radiance Fields

📄 arXiv: 2311.11845v2 📥 PDF

作者: Zhiyuan Min, Yawei Luo, Wei Yang, Yuesong Wang, Yi Yang

分类: cs.CV

发布日期: 2023-11-20 (更新: 2024-03-12)

备注: Accepted by CVPR-2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出EVE-NeRF以解决通用神经辐射场的视图聚合问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 3D重建 视图聚合 计算机视觉 深度学习

📋 核心要点

  1. 现有的通用神经辐射场方法在处理新场景时，往往需要针对特定场景进行重新训练，限制了其应用范围。
  2. EVE-NeRF通过纠缠的方式聚合视图和视差信息，结合场景不变的外观和几何先验，提升了3D表示的通用性。
  3. 实验结果显示，EVE-NeRF在3D场景几何和外观重建的准确性上显著优于传统的单维聚合方法，达到了最先进的性能。

📝 摘要（中文）

通用神经辐射场（Generalizable NeRF）能够在新场景中直接合成新视图，避免了传统NeRF中对特定场景的重新训练。本文提出了一种名为EVE-NeRF的纠缠视图-视差信息聚合方法。与现有方法独立考虑跨视图和沿视差信息不同，EVE-NeRF通过将场景不变的外观连续性和几何一致性先验注入聚合过程，以纠缠的方式进行视图-视差特征聚合。该方法有效缓解了一维交互所导致的固有几何和外观约束的缺失，从而进一步提升了3D表示的通用性。EVE-NeRF在各种评估场景中达到了最先进的性能，实验表明，与现有的单维聚合方法相比，纠缠网络在3D场景几何和外观重建的准确性上表现优异。

🔬 方法详解

问题定义：本文旨在解决通用神经辐射场在新场景合成中的视图聚合问题。现有方法往往独立处理跨视图和视差信息，导致几何和外观约束不足，影响3D表示的通用性。

核心思路：EVE-NeRF通过纠缠的方式进行视图-视差特征聚合，注入场景不变的外观连续性和几何一致性先验，从而提升3D表示的通用性和准确性。

技术框架：EVE-NeRF的整体架构包括特征提取模块、纠缠聚合模块和重建模块。特征提取模块从源视图中提取特征，纠缠聚合模块将视图和视差信息结合，最后重建模块生成合成的新视图。

关键创新：EVE-NeRF的主要创新在于其纠缠的聚合方式，区别于传统方法的独立处理，能够更好地捕捉几何和外观之间的关系。

关键设计：在网络结构上，EVE-NeRF采用了多层卷积网络，并设计了特定的损失函数以优化几何和外观的一致性，确保聚合过程中的信息完整性。通过这些设计，EVE-NeRF在多种场景中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EVE-NeRF在多个评估场景中表现出色，相较于传统的单维聚合方法，其在3D场景几何和外观重建的准确性上提升了显著的性能，具体数据未提供，但实验结果表明其达到了最先进的水平。

🎯 应用场景

EVE-NeRF的研究成果在虚拟现实、增强现实和计算机图形学等领域具有广泛的应用潜力。通过实现高质量的3D场景重建，该方法可以提升用户体验，并推动相关技术的发展，尤其是在需要实时渲染的应用场景中。

📄 摘要（原文）

Generalizable NeRF can directly synthesize novel views across new scenes, eliminating the need for scene-specific retraining in vanilla NeRF. A critical enabling factor in these approaches is the extraction of a generalizable 3D representation by aggregating source-view features. In this paper, we propose an Entangled View-Epipolar Information Aggregation method dubbed EVE-NeRF. Different from existing methods that consider cross-view and along-epipolar information independently, EVE-NeRF conducts the view-epipolar feature aggregation in an entangled manner by injecting the scene-invariant appearance continuity and geometry consistency priors to the aggregation process. Our approach effectively mitigates the potential lack of inherent geometric and appearance constraint resulting from one-dimensional interactions, thus further boosting the 3D representation generalizablity. EVE-NeRF attains state-of-the-art performance across various evaluation scenarios. Extensive experiments demonstate that, compared to prevailing single-dimensional aggregation, the entangled network excels in the accuracy of 3D scene geometry and appearance reconstruction. Our code is publicly available at https://github.com/tatakai1/EVENeRF.