InstantSplat: Sparse-view Gaussian Splatting in Seconds

📄 arXiv: 2403.20309v6 📥 PDF

作者: Zhiwen Fan, Wenyan Cong, Kairun Wen, Kevin Wang, Jian Zhang, Xinghao Ding, Danfei Xu, Boris Ivanovic, Marco Pavone, Georgios Pavlakos, Zhangyang Wang, Yue Wang

分类: cs.CV

发布日期: 2024-03-29 (更新: 2025-07-03)

备注: Project Page: https://instantsplat.github.io/

💡 一句话要点

提出InstantSplat以解决稀疏视图3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏视图重建 神经渲染 自监督学习 3D场景表示 高斯束调整 光度误差优化 计算机视觉 机器人导航

📋 核心要点

  1. 现有神经3D重建方法在稀疏视图数据下性能显著下降，限制了其应用场景，尤其在特征匹配稀缺的情况下。
  2. InstantSplat通过自监督框架优化3D场景表示和相机姿态，利用2D像素反投影和可微分神经渲染进行对齐，快速实现重建。
  3. 实验结果表明，InstantSplat在重建速度上提升超过30倍，视觉质量（SSIM）从0.3755提升至0.7624，相较于传统SfM与3D-GS方法有显著改善。

📝 摘要（中文）

尽管神经3D重建技术已取得显著进展，但在稀疏视图数据下性能显著下降，限制了其广泛应用。本文提出InstantSplat，一种快速解决稀疏视图3D场景重建的新方法。该方法采用自监督框架，通过将2D像素反投影到3D空间并利用可微分神经渲染进行对齐，优化3D场景表示和相机姿态。优化过程以大规模训练的几何基础模型为初始化，提供密集先验，通过模型推理获得初始点，随后利用光度误差进一步优化所有场景参数。为减少先验模型引入的冗余，提出了基于共视性的几何初始化，并采用基于高斯的束调整快速适应场景表示和相机参数。整体上，InstantSplat兼容多种基于点的表示，显著加速重建过程并提升视觉质量。

🔬 方法详解

问题定义：本文旨在解决稀疏视图下的3D场景重建问题。现有方法在特征匹配稀缺的情况下，通常依赖于结构从运动（SfM），导致重建性能显著下降。

核心思路：InstantSplat的核心思想是通过自监督学习框架，利用2D像素反投影到3D空间并进行可微分渲染对齐，从而优化3D场景表示和相机姿态。该方法通过初始化几何基础模型提供密集先验，快速提升重建效果。

技术框架：整体架构包括几个主要模块：首先，利用大规模训练的几何基础模型生成初始3D点；其次，通过光度误差优化所有场景参数；最后，采用高斯束调整快速适应场景表示和相机参数。

关键创新：最重要的技术创新在于提出了基于共视性的几何初始化方法，减少了先验模型引入的冗余，同时通过高斯束调整实现了快速的场景和相机参数适应。与现有方法相比，InstantSplat在速度和质量上均有显著提升。

关键设计：在参数设置上，采用了适应性的损失函数以优化光度误差，并设计了高效的网络结构以支持可微分渲染，确保了重建过程的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InstantSplat在重建速度上实现了超过30倍的加速，视觉质量（SSIM）从0.3755提升至0.7624，显著优于传统的SfM与3D-GS方法。这一提升不仅展示了方法的有效性，也为稀疏视图3D重建提供了新的解决方案。

🎯 应用场景

InstantSplat的研究成果在多个领域具有潜在应用价值，包括虚拟现实、增强现实、自动驾驶和机器人导航等。其快速高效的3D重建能力能够为实时场景理解和交互提供支持，推动相关技术的发展和应用。未来，该方法可能在更广泛的稀疏视图场景中发挥重要作用。

📄 摘要（原文）

While neural 3D reconstruction has advanced substantially, its performance significantly degrades with sparse-view data, which limits its broader applicability, since SfM is often unreliable in sparse-view scenarios where feature matches are scarce. In this paper, we introduce InstantSplat, a novel approach for addressing sparse-view 3D scene reconstruction at lightning-fast speed. InstantSplat employs a self-supervised framework that optimizes 3D scene representation and camera poses by unprojecting 2D pixels into 3D space and aligning them using differentiable neural rendering. The optimization process is initialized with a large-scale trained geometric foundation model, which provides dense priors that yield initial points through model inference, after which we further optimize all scene parameters using photometric errors. To mitigate redundancy introduced by the prior model, we propose a co-visibility-based geometry initialization, and a Gaussian-based bundle adjustment is employed to rapidly adapt both the scene representation and camera parameters without relying on a complex adaptive density control process. Overall, InstantSplat is compatible with multiple point-based representations for view synthesis and surface reconstruction. It achieves an acceleration of over 30x in reconstruction and improves visual quality (SSIM) from 0.3755 to 0.7624 compared to traditional SfM with 3D-GS.