SAIL-Recon: Large SfM by Augmenting Scene Regression with Localization

📄 arXiv: 2508.17972v1 📥 PDF

作者: Junyuan Deng, Heng Li, Tao Xie, Weiqiang Ren, Qian Zhang, Ping Tan, Xiaoyang Guo

分类: cs.CV

发布日期: 2025-08-25

💡 一句话要点

提出SAIL-Recon以解决大规模SfM问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 结构光重建 视觉定位 场景回归 深度学习 计算机视觉 Transformer

📋 核心要点

  1. 现有的场景回归方法在处理大量输入图像时效率低下，难以扩展到大规模场景。
  2. SAIL-Recon通过结合视觉定位能力，增强了场景回归网络，从而提高了大规模SfM的性能。
  3. 实验结果显示，SAIL-Recon在多个基准测试中实现了最先进的相机姿态估计和新视图合成效果。

📝 摘要（中文）

场景回归方法（如VGGT）通过直接回归相机姿态和3D场景结构来解决运动结构（SfM）问题，表现出在极端视角变化下的优异性能。然而，这些方法在处理大量输入图像时存在困难。为了解决这一问题，本文提出了SAIL-Recon，一个用于大规模SfM的前馈Transformer，通过增强场景回归网络的视觉定位能力。具体而言，我们的方法首先从一组锚图像计算神经场景表示，然后对回归网络进行微调，以重建所有输入图像。全面的实验表明，我们的方法不仅能够高效扩展到大规模场景，还在相机姿态估计和新视图合成基准上取得了最先进的结果，包括TUM-RGBD、CO3Dv2和Tanks & Temples。我们将发布我们的模型和代码。

🔬 方法详解

问题定义：本文旨在解决现有场景回归方法在处理大规模输入图像时的效率问题，尤其是在相机姿态和3D结构重建方面的不足。

核心思路：SAIL-Recon的核心思想是通过引入视觉定位能力来增强场景回归网络，使其能够在大规模场景中有效工作。该方法首先从锚图像中计算神经场景表示，然后基于此进行图像重建。

技术框架：SAIL-Recon的整体架构包括两个主要模块：首先是神经场景表示模块，从一组锚图像中提取特征；其次是回归网络模块，利用提取的特征对所有输入图像进行重建。

关键创新：该研究的主要创新在于将视觉定位能力与场景回归方法相结合，使得网络能够在处理大量图像时保持高效性和准确性。这一设计显著提升了大规模SfM的可行性。

关键设计：在网络设计上，采用了前馈Transformer架构，结合了特定的损失函数以优化相机姿态和3D结构的重建精度。具体的参数设置和网络结构细节将在代码中公开。

📊 实验亮点

在多个基准测试中，SAIL-Recon在相机姿态估计和新视图合成方面均取得了最先进的结果，尤其是在TUM-RGBD、CO3Dv2和Tanks & Temples数据集上，展现出显著的性能提升，具体提升幅度未知。

🎯 应用场景

SAIL-Recon在计算机视觉、机器人导航和增强现实等领域具有广泛的应用潜力。其高效的场景重建能力可以用于实时环境建模、虚拟现实场景生成以及自动驾驶系统中的环境理解等。未来，该方法的进一步发展可能会推动大规模场景重建技术的进步。

📄 摘要（原文）

Scene regression methods, such as VGGT, solve the Structure-from-Motion (SfM) problem by directly regressing camera poses and 3D scene structures from input images. They demonstrate impressive performance in handling images under extreme viewpoint changes. However, these methods struggle to handle a large number of input images. To address this problem, we introduce SAIL-Recon, a feed-forward Transformer for large scale SfM, by augmenting the scene regression network with visual localization capabilities. Specifically, our method first computes a neural scene representation from a subset of anchor images. The regression network is then fine-tuned to reconstruct all input images conditioned on this neural scene representation. Comprehensive experiments show that our method not only scales efficiently to large-scale scenes, but also achieves state-of-the-art results on both camera pose estimation and novel view synthesis benchmarks, including TUM-RGBD, CO3Dv2, and Tanks & Temples. We will publish our model and code. Code and models are publicly available at: https://hkust-sail.github.io/ sail-recon/.