Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction

📄 arXiv: 2403.18795v3 📥 PDF

作者: Qiuhong Shen, Zike Wu, Xuanyu Yi, Pan Zhou, Hanwang Zhang, Shuicheng Yan, Xinchao Wang

分类: cs.CV, cs.AI

发布日期: 2024-03-27 (更新: 2024-05-24)

备注: project page: https://florinshen.github.io/gamba-project

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Gamba以解决单视图3D重建效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单视图重建 高斯点云 深度学习 3D重建 Mamba网络 实时处理 计算机视觉

📋 核心要点

  1. 现有单图像3D重建方法存在优化时间长和内存消耗大的问题，限制了其实用性。
  2. Gamba通过引入Mamba-based GambaFormer网络和径向掩码约束，提供了一种高效的端到端重建方案。
  3. 实验表明，Gamba在GSO数据集上表现优异，重建速度达到0.05秒，显著快于传统优化方法。

📝 摘要（中文）

我们解决了从单张图像高效重建3D资产的挑战，速度达到毫秒级。现有的单图像3D重建方法主要基于得分蒸馏采样（SDS）与神经3D表示，尽管结果令人鼓舞，但由于优化时间长和内存消耗大，存在实际限制。本文提出Gamba，一个端到端的单视图图像3D重建模型，强调两个主要见解：1）高效的骨干设计：引入基于Mamba的GambaFormer网络，将3D高斯点云重建建模为具有线性可扩展性的序列预测；2）稳健的高斯约束：从多视图掩码中推导径向掩码约束，消除训练中对3D点云的预热监督需求。实验结果表明，Gamba在生成能力上具有竞争力，且在NVIDIA A100 GPU上重建时间仅为0.05秒，约比基于优化的方法快1000倍。

🔬 方法详解

问题定义：本文旨在解决从单张图像高效重建3D资产的问题。现有方法在优化时间和内存消耗上存在显著不足，影响了实际应用。

核心思路：Gamba的核心思路是通过Mamba-based GambaFormer网络，将3D高斯点云重建视为序列预测任务，从而实现线性可扩展性，能够处理大量高斯点。

技术框架：Gamba的整体架构包括数据输入、特征提取、3D重建和输出生成四个主要模块。特征提取模块使用GambaFormer网络进行高效建模，重建模块则利用高斯约束进行优化。

关键创新：Gamba的关键创新在于将3D重建任务转化为序列预测，并引入径向掩码约束，消除了对3D点云的预热监督需求，这在现有方法中尚未实现。

关键设计：Gamba的设计包括高效的网络结构、优化的损失函数以及适应性强的参数设置，使得模型在训练和推理过程中都能保持高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Gamba在GSO数据集上的重建速度为0.05秒，显著快于传统优化方法，提升幅度达到约1000倍。此外，Gamba在生成质量上也表现出色，具有较强的竞争力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、建筑可视化等，能够为用户提供快速且高质量的3D重建服务。随着技术的进步，Gamba有望在实时3D重建和增强现实应用中发挥重要作用，推动相关行业的发展。

📄 摘要（原文）

We tackle the challenge of efficiently reconstructing a 3D asset from a single image at millisecond speed. Existing methods for single-image 3D reconstruction are primarily based on Score Distillation Sampling (SDS) with Neural 3D representations. Despite promising results, these approaches encounter practical limitations due to lengthy optimizations and significant memory consumption. In this work, we introduce Gamba, an end-to-end 3D reconstruction model from a single-view image, emphasizing two main insights: (1) Efficient Backbone Design: introducing a Mamba-based GambaFormer network to model 3D Gaussian Splatting (3DGS) reconstruction as sequential prediction with linear scalability of token length, thereby accommodating a substantial number of Gaussians; (2) Robust Gaussian Constraints: deriving radial mask constraints from multi-view masks to eliminate the need for warmup supervision of 3D point clouds in training. We trained Gamba on Objaverse and assessed it against existing optimization-based and feed-forward 3D reconstruction approaches on the GSO Dataset, among which Gamba is the only end-to-end trained single-view reconstruction model with 3DGS. Experimental results demonstrate its competitive generation capabilities both qualitatively and quantitatively and highlight its remarkable speed: Gamba completes reconstruction within 0.05 seconds on a single NVIDIA A100 GPU, which is about $1,000\times$ faster than optimization-based methods. Please see our project page at https://florinshen.github.io/gamba-project.