SG-Splat: Stable Geometry Learning under Pose Uncertainty for Pose-Free 3D Gaussian Splatting

📄 arXiv: 2610.35361v1 📥 PDF

作者: Xiaohan Lu, Jiaqi Zhang, Weijia Jiang, Siwei Ma

分类: cs.CV

发布日期: 2026-10-26

💡 一句话要点

提出SG-Splat以解决姿态不确定性下的3D高斯表示问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯表示 姿态估计 几何学习 新视角合成 计算机视觉 鲁棒性 深度学习

📋 核心要点

  1. 现有的无姿态3D高斯表示方法对姿态误差敏感，导致几何和属性学习中的噪声监督。
  2. SG-Splat通过解耦几何估计和高斯属性预测，增强了对姿态不确定性的鲁棒性，并引入了粗到细的精细化流程。
  3. 在DL3DV和RealEstate10K数据集上的实验表明，SG-Splat在新视角合成和姿态估计方面实现了最先进的性能。

📝 摘要（中文）

3D高斯点云表示（3DGS）已成为实时新视角合成和3D场景重建的有前景的表示方法。尽管近期研究探索了无姿态的前馈3DGS，但这些方法对残余姿态误差仍然敏感，导致几何和属性学习中的噪声监督。为了解决这一问题，本文提出了SG-Splat框架，通过解耦几何估计和高斯属性预测，增强了对姿态不确定性的鲁棒性，并引入了粗到细的精细化流程，显著提高了几何对齐的准确性。实验结果表明，SG-Splat在新视角合成和姿态估计方面均达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决无姿态3D高斯表示方法在姿态不确定性下的鲁棒性问题。现有方法对残余姿态误差敏感，导致几何和属性学习中的噪声监督，影响重建效果。

核心思路：SG-Splat通过将几何估计和高斯属性预测解耦为两个独立的分支，减少了姿态敏感的几何与高斯属性之间的误差耦合，从而提高了鲁棒性。

技术框架：SG-Splat的整体架构包括粗到细的精细化流程，主要模块包括流引导的姿态精细化（FGPR）和残差引导的几何校正（RGC），以改善几何对齐。

关键创新：SG-Splat的主要创新在于引入了双路径策略，混合真实和预测的姿态进行规范变换，从而为高斯属性提供干净的监督，同时提高几何对残余姿态误差的鲁棒性。

关键设计：在技术细节上，FGPR通过基于流的相关特征和可微束调整来精细化相机姿态，RGC则利用FGPR得到的深度残差来校正初始点图，确保高斯中心的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SG-Splat在DL3DV和RealEstate10K数据集上的实验结果显示，其在新视角合成和姿态估计方面均达到了最先进的性能，具体提升幅度超过了现有基线方法，展现了显著的鲁棒性和准确性。

🎯 应用场景

SG-Splat的研究成果在计算机视觉领域具有广泛的应用潜力，尤其是在实时3D场景重建和虚拟现实等领域。通过提高对姿态不确定性的鲁棒性，该方法能够在实际应用中提供更高质量的3D重建效果，推动相关技术的发展。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has become a promising representation for real-time novel view synthesis and 3D scene reconstruction. For practical deployment, recent studies have explored pose-free feed-forward 3DGS, which reconstructs Gaussian representations directly from unposed input images. However, these methods remain sensitive to residual pose errors, which perturb canonical-space Gaussian transformation, introducing noisy supervision for geometry and attribute learning. To address this problem, we present SG-Splat, a pose-free feed-forward 3DGS framework that improves robustness to pose uncertainty and stabilizes the learning of Gaussian primitives. SG-Splat decouples geometry estimation and Gaussian attribute prediction into two dedicated branches, reducing error coupling between pose-sensitive geometry and Gaussian attributes. We further introduce a coarse-to-fine refinement pipeline, consisting of Flow-Guided Pose Refinement (FGPR) and Residual-Guided Geometry Correction (RGC), to improve geometric alignment before Gaussian attribute reconstruction. Specifically, FGPR refines camera poses with flow-based correlation features and differentiable bundle adjustment. RGC then corrects initial point maps using depth residuals derived from FGPR, producing more reliable Gaussian centers. To stabilize training, we introduce a dual-path strategy that mixes ground-truth and predicted poses for canonical transformation. It provides clean supervision for Gaussian attributes while improving geometry robustness to residual pose errors. Extensive experiments on DL3DV and RealEstate10K show that SG-Splat achieves state-of-the-art performance in both novel view synthesis and pose estimation.