LRM: Large Reconstruction Model for Single Image to 3D

📄 arXiv: 2311.04400v2 📥 PDF

作者: Yicong Hong, Kai Zhang, Jiuxiang Gu, Sai Bi, Yang Zhou, Difan Liu, Feng Liu, Kalyan Sunkavalli, Trung Bui, Hao Tan

分类: cs.CV, cs.AI, cs.GR, cs.LG

发布日期: 2023-11-08 (更新: 2024-03-09)

备注: ICLR 2024

💡 一句话要点

提出大型重建模型LRM以实现单图像到3D模型的快速重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 神经辐射场 变换器架构 大规模训练 计算机视觉

📋 核心要点

  1. 现有方法通常依赖于小规模数据集，导致模型的泛化能力不足，难以处理多样化的输入图像。
  2. LRM通过采用变换器架构和大规模训练数据，能够从单张图像中快速生成高质量的3D模型，提升了重建效率和准确性。
  3. 实验结果表明，LRM在多种输入条件下均能实现高质量的3D重建，且重建速度显著优于现有方法。

📝 摘要（中文）

我们提出了首个大型重建模型（LRM），能够在仅5秒内从单个输入图像预测物体的3D模型。与许多基于小规模数据集（如ShapeNet）并按类别特定训练的方法不同，LRM采用了具有5亿可学习参数的可扩展变换器架构，直接从输入图像预测神经辐射场（NeRF）。我们在包含约100万个物体的大规模多视图数据上进行了端到端训练，包括来自Objaverse的合成渲染和来自MVImgNet的真实捕获。这种高容量模型与大规模训练数据的结合使我们的模型具有高度的泛化能力，能够从各种测试输入中生成高质量的3D重建，包括真实世界的捕获和由生成模型创建的图像。

🔬 方法详解

问题定义：本论文旨在解决从单张图像生成3D模型的挑战，现有方法多依赖于小规模数据集，导致模型在多样化输入下的性能不足。

核心思路：LRM采用了变换器架构，结合大规模多视图数据进行训练，能够直接从输入图像预测神经辐射场（NeRF），从而实现快速且高质量的3D重建。

技术框架：整体架构包括数据预处理、模型训练和3D重建三个主要阶段。模型通过500百万个可学习参数进行端到端训练，利用来自Objaverse和MVImgNet的多样化数据。

关键创新：LRM的核心创新在于其大规模的变换器架构和对大规模多视图数据的有效利用，使其在处理复杂场景时具有更好的泛化能力和重建质量。

关键设计：模型设计中采用了特定的损失函数以优化3D重建的精度，并通过调整网络结构以适应不同类型的输入图像，确保在多样化场景下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LRM在多种输入条件下均能实现高质量的3D重建，重建速度达到5秒，且在与现有基线方法的对比中，重建质量提升显著，尤其在真实世界捕获图像的处理上表现优异。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、游戏开发以及工业设计等。通过快速生成高质量的3D模型，LRM能够极大地提升这些领域中的内容创建效率和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose the first Large Reconstruction Model (LRM) that predicts the 3D model of an object from a single input image within just 5 seconds. In contrast to many previous methods that are trained on small-scale datasets such as ShapeNet in a category-specific fashion, LRM adopts a highly scalable transformer-based architecture with 500 million learnable parameters to directly predict a neural radiance field (NeRF) from the input image. We train our model in an end-to-end manner on massive multi-view data containing around 1 million objects, including both synthetic renderings from Objaverse and real captures from MVImgNet. This combination of a high-capacity model and large-scale training data empowers our model to be highly generalizable and produce high-quality 3D reconstructions from various testing inputs, including real-world in-the-wild captures and images created by generative models. Video demos and interactable 3D meshes can be found on our LRM project webpage: https://yiconghong.me/LRM.