Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

📄 arXiv: 2403.19319v2 📥 PDF

作者: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner

分类: cs.CV

发布日期: 2024-03-28 (更新: 2024-09-05)

备注: Accepted to ECCV 2024, Project page: https://terencecyj.github.io/projects/Mesh2NeRF/ Video: https://youtu.be/SsFkhSuQYGM

💡 一句话要点

提出Mesh2NeRF以解决3D生成任务中的辐射场获取问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D生成 辐射场 纹理网格 深度学习 计算机视觉 NeRF 图形学

📋 核心要点

  1. 现有的3D生成方法在从多视角渲染中获取辐射场时，常常面临伪影和拟合不足的问题。
  2. Mesh2NeRF提出了一种直接从3D网格获取真实辐射场的分析解决方案，利用占用函数和反射函数进行建模。
  3. 在多个任务中，Mesh2NeRF实现了3.12dB的PSNR提升，显著改善了单视图条件生成和无条件生成的效果。

📝 摘要（中文）

我们提出了Mesh2NeRF，这是一种从纹理网格直接推导真实辐射场的方法，旨在解决3D生成任务中的挑战。现有的3D生成方法通常依赖于从大规模合成3D数据集中多视角渲染得到的辐射场，这可能导致由于遮挡或拟合不足而产生的伪影。Mesh2NeRF通过分析解决方案直接从3D网格获取真实辐射场，使用占用函数表征密度场，并通过考虑网格和环境光照的反射函数来确定视角依赖的颜色。实验结果表明，Mesh2NeRF在多个任务中表现出色，显著提高了视图合成和单视图条件生成的PSNR。

🔬 方法详解

问题定义：现有的3D生成方法通常依赖于从多视角渲染中拟合辐射场，这导致了伪影和拟合不足的问题，影响生成质量。

核心思路：Mesh2NeRF通过直接从纹理网格获取真实辐射场，利用占用函数表征密度场，并通过反射函数考虑环境光照和网格特性，提供了更准确的辐射场表示。

技术框架：该方法的整体架构包括两个主要模块：占用函数用于描述密度场，反射函数用于计算视角依赖的颜色。通过这两个模块，Mesh2NeRF能够直接从3D网格生成高质量的辐射场。

关键创新：Mesh2NeRF的主要创新在于其直接从3D网格推导辐射场的能力，避免了传统方法中多视角渲染带来的伪影问题，提供了更为准确的监督信号。

关键设计：在设计中，Mesh2NeRF使用了定义的表面厚度来增强占用函数的表现，并通过反射函数综合考虑了网格和环境光照的影响，确保了生成颜色的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Mesh2NeRF在单场景表示的视图合成任务中实现了3.12dB的PSNR提升，在ShapeNet Cars的单视图条件生成中提升了0.69 PSNR，并在Objaverse Mugs的无条件生成中显著改善了网格提取效果，展示了其强大的性能。

🎯 应用场景

Mesh2NeRF的研究成果在3D生成、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供更准确的辐射场表示，该方法可以提升3D场景的真实感和细节表现，为相关行业带来更高的视觉体验和交互效果。

📄 摘要（原文）

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.