GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

📄 arXiv: 2404.19702v1 📥 PDF

作者: Kai Zhang, Sai Bi, Hao Tan, Yuanbo Xiangli, Nanxuan Zhao, Kalyan Sunkavalli, Zexiang Xu

分类: cs.CV

发布日期: 2024-04-30

备注: Project webpage: https://sai-bi.github.io/project/gs-lrm/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GS-LRM以解决3D重建中的高效性与复杂性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯原语 变换器架构 计算机视觉 深度学习 虚拟现实 场景理解

📋 核心要点

  1. 现有方法在处理复杂场景和大规模变化时存在局限性，无法有效重建多样化的3D结构。
  2. GS-LRM通过简单的变换器架构，直接从多视图图像中预测每个像素的高斯参数，提升了重建质量和效率。
  3. 实验结果表明，GS-LRM在Objaverse和RealEstate10K数据集上均显著超越了现有的最先进方法，展示了其强大的适应性和性能。

📝 摘要（中文）

我们提出了GS-LRM，一个可扩展的大型重建模型，能够在单个A100 GPU上以0.23秒的速度从2-4张姿态稀疏图像中预测高质量的3D高斯原语。该模型采用简单的基于变换器的架构，通过对输入的姿态图像进行分块，将多视图图像标记连接后传递给一系列变换器块，并直接从这些标记中解码每个像素的高斯参数以实现可微渲染。与只能重建物体的先前LRM相比，GS-LRM通过预测每个像素的高斯，能够自然处理具有大规模和复杂性变化的场景。我们展示了该模型在Objaverse和RealEstate10K上的训练效果，能够在物体和场景捕获中均超越现有的最先进基线，并在下游3D生成任务中展示应用。

🔬 方法详解

问题定义：本论文旨在解决现有3D重建方法在处理复杂场景和大规模变化时的不足，特别是传统LRM只能重建物体而无法有效处理场景的多样性和复杂性。

核心思路：GS-LRM的核心思路是通过简单的变换器架构，直接从多视图图像中预测每个像素的高斯参数，以实现更高效和高质量的3D重建。这样的设计使得模型能够自然适应不同规模和复杂度的场景。

技术框架：GS-LRM的整体架构包括输入图像的分块处理、变换器块的序列传递，以及从图像标记中解码每个像素的高斯参数。具体流程为：首先将输入的姿态图像进行分块，然后将这些图像标记连接并传递给变换器，最后解码出高斯参数用于可微渲染。

关键创新：GS-LRM的主要创新在于其能够处理每个像素的高斯预测，突破了传统LRM的限制，使得模型在处理复杂场景时表现更为优越。与现有方法相比，GS-LRM在多样性和复杂性处理上具有本质区别。

关键设计：模型的关键设计包括变换器架构的选择、输入图像的分块策略以及高斯参数的解码方式。损失函数的设计也经过精心调整，以确保模型在训练过程中能够有效学习到高质量的3D重建特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GS-LRM在Objaverse和RealEstate10K数据集上的实验结果显示，其在重建质量和速度上均显著优于现有的最先进基线，具体提升幅度达到XX%（具体数据未知），展示了其在处理复杂场景时的卓越性能。

🎯 应用场景

GS-LRM在3D重建领域具有广泛的应用潜力，尤其是在虚拟现实、游戏开发和建筑可视化等领域。其高效的重建能力和对复杂场景的适应性使其在实际应用中能够提供更高质量的3D模型，推动相关行业的发展。

📄 摘要（原文）

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .