MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views

📄 arXiv: 2404.06753v1 📥 PDF

作者: Runfa Li, Upal Mahbub, Vasudev Bhaskaran, Truong Nguyen

分类: cs.CV

发布日期: 2024-04-10

💡 一句话要点

提出MonoSelfRecon以解决单目RGB视图下的自监督3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目3D重建 自监督学习 体素-SDF 神经辐射场 室内场景 深度估计 显式重建 泛化能力

📋 核心要点

  1. 现有的单目3D重建方法要么依赖于全面的监督信号，要么在泛化能力上存在不足，限制了其应用。
  2. 论文提出的MonoSelfRecon框架通过自监督学习实现了显式的3D网格重建，能够处理多种室内场景。
  3. 实验结果显示，MonoSelfRecon在纯自监督训练下的性能超过了现有的自监督深度估计模型，且与完全监督模型相当。

📝 摘要（中文）

当前的单目3D场景重建工作要么是完全监督的，要么缺乏泛化能力，或者在3D表示上是隐式的。我们提出了一种新框架——MonoSelfRecon，首次实现了基于单目RGB视图的室内场景的显式3D网格重建，且完全依赖自监督学习，使用体素-SDF（有符号距离函数）。MonoSelfRecon采用基于自编码器的架构，解码体素-SDF和可泛化的神经辐射场（NeRF），后者用于指导体素-SDF的自监督。我们提出了新颖的自监督损失，不仅支持纯自监督，还可以与监督信号结合以进一步提升监督训练。实验表明，MonoSelfRecon在纯自监督下的表现超越了当前最佳的自监督室内深度估计模型，并且与完全监督下的3D重建模型相当。

🔬 方法详解

问题定义：本论文旨在解决现有单目3D场景重建方法在泛化能力和自监督学习方面的不足，尤其是缺乏显式3D表示的问题。

核心思路：MonoSelfRecon框架通过自监督学习实现显式的3D网格重建，利用体素-SDF作为基础表示，并结合神经辐射场（NeRF）进行指导，从而提升重建的准确性和泛化能力。

技术框架：该框架基于自编码器架构，主要包括体素-SDF的解码模块和神经辐射场模块。自监督损失函数用于优化模型，确保模型在没有标注数据的情况下仍能有效学习。

关键创新：MonoSelfRecon的核心创新在于其完全自监督的训练方式，首次实现了显式3D网格重建，克服了以往方法的限制，具有更强的泛化能力。

关键设计：论文设计了新颖的自监督损失函数，能够与监督信号结合使用，提升训练效果。此外，框架的灵活性使其可以与多种体素-SDF模型兼容，增强了应用的广泛性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MonoSelfRecon在纯自监督训练下的性能超越了当前最佳的自监督室内深度估计模型，且在与完全监督模型的对比中表现相当，展示了其在3D重建领域的强大能力和潜力。

🎯 应用场景

MonoSelfRecon的研究成果在室内场景重建、虚拟现实、增强现实等领域具有广泛的应用潜力。通过实现高质量的3D重建，该技术能够为智能家居、建筑设计和游戏开发等行业提供支持，提升用户体验和设计效率。未来，该方法的泛化能力可能推动更多领域的3D重建技术发展。

📄 摘要（原文）

Current monocular 3D scene reconstruction (3DR) works are either fully-supervised, or not generalizable, or implicit in 3D representation. We propose a novel framework - MonoSelfRecon that for the first time achieves explicit 3D mesh reconstruction for generalizable indoor scenes with monocular RGB views by purely self-supervision on voxel-SDF (signed distance function). MonoSelfRecon follows an Autoencoder-based architecture, decodes voxel-SDF and a generalizable Neural Radiance Field (NeRF), which is used to guide voxel-SDF in self-supervision. We propose novel self-supervised losses, which not only support pure self-supervision, but can be used together with supervised signals to further boost supervised training. Our experiments show that "MonoSelfRecon" trained in pure self-supervision outperforms current best self-supervised indoor depth estimation models and is comparable to 3DR models trained in fully supervision with depth annotations. MonoSelfRecon is not restricted by specific model design, which can be used to any models with voxel-SDF for purely self-supervised manner.