Gesplat: Robust Pose-Free 3D Reconstruction via Geometry-Guided Gaussian Splatting

📄 arXiv: 2510.10097v2 📥 PDF

作者: Jiahui Lu, Haihong Xiao, Xueyan Zhao, Wenxiong Kang

分类: cs.CV

发布日期: 2025-10-11 (更新: 2025-10-27)

💡 一句话要点

Gesplat：基于几何引导高斯溅射的鲁棒无姿态3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 新视角合成 高斯溅射 无姿态估计 稀疏视图 几何一致性 深度正则化

📋 核心要点

  1. 现有NeRF和3DGS方法依赖精确相机姿态和密集视点，在稀疏视图下重建效果差，姿态估计不可靠。
  2. Gesplat利用VGGT模型初始化姿态和点云，并提出混合高斯表示、图引导属性细化和流基深度正则化。
  3. 实验表明，Gesplat在稀疏视图下，相比其他无姿态方法，在重建质量和鲁棒性上均有提升。

📝 摘要（中文）

神经辐射场(NeRF)和3D高斯溅射(3DGS)在3D重建和新视角合成方面取得了进展，但仍然严重依赖于精确的相机姿态和密集的视点覆盖。这些要求限制了它们在稀疏视图设置中的适用性，在这些设置中，姿态估计变得不可靠，并且监督不足。为了克服这些挑战，我们引入了Gesplat，这是一个基于3DGS的框架，它能够从无姿态的稀疏图像中实现鲁棒的新视角合成和几何一致的重建。与先前依赖COLMAP进行稀疏点云初始化的工作不同，我们利用VGGT基础模型来获得更可靠的初始姿态和密集点云。我们的方法集成了几个关键创新：1)一种混合高斯表示，具有双位置-形状优化，并通过视图间匹配一致性增强；2)一个图引导属性细化模块，以增强场景细节；3)基于流的深度正则化，提高了深度估计的准确性，从而实现了更有效的监督。全面的定量和定性实验表明，与其他无姿态方法相比，我们的方法在前向和大规模复杂数据集上都实现了更鲁棒的性能。

🔬 方法详解

问题定义：论文旨在解决在稀疏视图条件下，由于相机姿态估计不准确和监督信息不足，导致NeRF和3DGS等方法在3D重建和新视角合成中性能下降的问题。现有方法通常依赖COLMAP进行初始化，但在稀疏视图下，COLMAP生成的点云质量较差，影响后续重建效果。

核心思路：论文的核心思路是利用VGGT等预训练模型提供更可靠的初始姿态和密集点云，并结合几何约束和深度正则化来提高重建的鲁棒性和几何一致性。通过引入新的高斯表示和优化策略，以及图引导的属性细化模块，增强场景细节的重建能力。

技术框架：Gesplat框架主要包含以下几个阶段：1) 使用VGGT模型进行初始姿态估计和密集点云生成；2) 初始化3D高斯表示，并进行双位置-形状优化，同时利用视图间匹配一致性进行增强；3) 使用图引导属性细化模块来增强场景细节；4) 使用基于流的深度正则化来提高深度估计的准确性，从而提供更有效的监督信号。

关键创新：论文的关键创新点在于：1) 使用VGGT等预训练模型进行姿态初始化，避免了对COLMAP的依赖，提高了在稀疏视图下的鲁棒性；2) 提出了混合高斯表示，并结合双位置-形状优化和视图间匹配一致性，提高了重建质量；3) 引入了图引导属性细化模块，增强了场景细节的重建能力；4) 使用基于流的深度正则化，提高了深度估计的准确性，从而提供了更有效的监督信号。

关键设计：论文的关键设计包括：混合高斯表示的具体形式（未知），双位置-形状优化的损失函数设计（未知），图引导属性细化模块的网络结构和训练方式（未知），以及基于流的深度正则化的具体实现方式（未知）。这些细节共同构成了Gesplat框架的核心技术支撑。

📊 实验亮点

论文通过大量实验验证了Gesplat的有效性。实验结果表明，在稀疏视图条件下，Gesplat相比于其他无姿态重建方法，在重建质量和鲁棒性上均有显著提升。具体的性能数据和提升幅度在摘要中未明确给出，需要在论文正文中查找。

🎯 应用场景

Gesplat技术可应用于机器人导航、自动驾驶、虚拟现实/增强现实等领域。在这些场景中，通常难以获取密集的图像数据和精确的相机姿态。Gesplat的鲁棒无姿态重建能力，使其能够在这些挑战性环境中实现高质量的3D场景重建和新视角合成，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) have advanced 3D reconstruction and novel view synthesis, but remain heavily dependent on accurate camera poses and dense viewpoint coverage. These requirements limit their applicability in sparse-view settings, where pose estimation becomes unreliable and supervision is insufficient. To overcome these challenges, we introduce Gesplat, a 3DGS-based framework that enables robust novel view synthesis and geometrically consistent reconstruction from unposed sparse images. Unlike prior works that rely on COLMAP for sparse point cloud initialization, we leverage the VGGT foundation model to obtain more reliable initial poses and dense point clouds. Our approach integrates several key innovations: 1) a hybrid Gaussian representation with dual position-shape optimization enhanced by inter-view matching consistency; 2) a graph-guided attribute refinement module to enhance scene details; and 3) flow-based depth regularization that improves depth estimation accuracy for more effective supervision. Comprehensive quantitative and qualitative experiments demonstrate that our approach achieves more robust performance on both forward-facing and large-scale complex datasets compared to other pose-free methods.