MeshLRM: Large Reconstruction Model for High-Quality Meshes

📄 arXiv: 2404.12385v2 📥 PDF

作者: Xinyue Wei, Kai Zhang, Sai Bi, Hao Tan, Fujun Luan, Valentin Deschaintre, Kalyan Sunkavalli, Hao Su, Zexiang Xu

分类: cs.CV, cs.GR

发布日期: 2024-04-18 (更新: 2025-01-23)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MeshLRM以实现高质量网格的快速重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 网格重建 三维建模 NeRF 计算机视觉 深度学习

📋 核心要点

  1. 现有的大规模重建模型在处理稀疏视图输入时，往往面临重建质量和计算效率的挑战。
  2. MeshLRM通过结合可微分网格提取与渲染，提出了一种新的端到端网格重建方法，显著提高了重建速度和质量。
  3. 实验结果表明，MeshLRM在稀疏视图输入下实现了最先进的网格重建效果，并支持多种下游3D生成应用。

📝 摘要（中文）

我们提出了MeshLRM，这是一种新颖的基于LRM的方法，可以仅通过四张输入图像在不到一秒的时间内重建高质量网格。与以往专注于NeRF重建的LRM不同，MeshLRM在LRM框架内结合了可微分的网格提取和渲染。这使得通过对预训练的NeRF LRM进行微调，实现端到端的网格重建成为可能。此外，我们通过简化以往LRM中的复杂设计来改进LRM架构。MeshLRM的NeRF初始化采用低分辨率和高分辨率图像的顺序训练，这种新的LRM训练策略显著加快了收敛速度，从而在计算量更少的情况下提高了重建质量。我们的研究在稀疏视图输入下实现了最先进的网格重建，并且支持多种下游应用，包括文本到3D和单图像到3D的生成。

🔬 方法详解

问题定义：本论文旨在解决现有大规模重建模型在稀疏视图输入下重建质量和计算效率不足的问题。传统的NeRF重建方法在处理少量输入图像时，往往无法快速生成高质量的三维网格。

核心思路：MeshLRM的核心思路是将可微分的网格提取和渲染集成到LRM框架中，通过微调预训练的NeRF LRM，实现端到端的网格重建。这种设计使得重建过程更加高效，并且能够在较少的计算资源下获得更好的结果。

技术框架：MeshLRM的整体架构包括多个模块，首先是对输入图像进行特征提取，然后通过可微分的网格提取模块生成初步网格，最后通过渲染模块进行细化和优化。训练过程中，采用低分辨率和高分辨率图像的顺序训练策略，以加速收敛。

关键创新：MeshLRM的主要创新在于其将可微分网格提取与NeRF重建相结合，形成了一种新的训练策略。这一方法在处理稀疏视图输入时，能够显著提高重建速度和质量，突破了以往方法的局限。

关键设计：在网络结构上，MeshLRM简化了以往LRM中的复杂设计，采用了更高效的参数设置和损失函数，以提高训练效率和重建质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MeshLRM在稀疏视图输入下的网格重建质量达到了最先进水平，重建速度在四张输入图像的情况下不到一秒，显著优于现有的LRM方法，且在计算资源使用上更为高效。

🎯 应用场景

该研究的潜在应用领域包括3D建模、虚拟现实、增强现实等，能够为游戏开发、影视制作和工业设计等行业提供高效的3D内容生成解决方案。未来，MeshLRM有望推动更多基于图像的3D生成技术的发展，提升用户体验和创作效率。

📄 摘要（原文）

We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs) that focus on NeRF-based reconstruction, MeshLRM incorporates differentiable mesh extraction and rendering within the LRM framework. This allows for end-to-end mesh reconstruction by fine-tuning a pre-trained NeRF LRM with mesh rendering. Moreover, we improve the LRM architecture by simplifying several complex designs in previous LRMs. MeshLRM's NeRF initialization is sequentially trained with low- and high-resolution images; this new LRM training strategy enables significantly faster convergence and thereby leads to better quality with less compute. Our approach achieves state-of-the-art mesh reconstruction from sparse-view inputs and also allows for many downstream applications, including text-to-3D and single-image-to-3D generation. Project page: https://sarahweiii.github.io/meshlrm/