Solv3R: 3D Looped Transformer as a Multi-view Solver
作者: Jeong-gi Kwak, Andrea Tagliasacchi, Sho Kagami, Yuki Ono, Kwang Moo Yi
分类: cs.CV
发布日期: 2026-11-02
备注: preprint; project page: https://ubc-vision.github.io/solv3r/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Solv3R以解决多视角几何重建问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多视角几何 循环变换器 运动结构重建 增量重建 计算机视觉
📋 核心要点
- 现有的几何重建方法在扩展和精细化方面存在困难，无法有效处理新视图的引入和旧视图的更新。
- Solv3R通过循环变换器设计，允许在不依赖迭代次数的情况下共同更新视图，提升了多视角几何的处理能力。
- 实验结果表明，Solv3R在离线重建和增量重建任务中表现优异，且无需特定任务的训练或模块。
📝 摘要（中文）
传统的运动结构重建方法通过迭代方式精细化相机姿态和场景几何，这使得地图可以轻松扩展而无需重新计算已完成的视图。然而，大多数几何基础模型在单次前向传递中预测整个几何，或在帧到达时更新递归状态，导致扩展和精细化变得复杂。本文提出了Solv3R，一个循环变换器，能够从当前状态继续解决多视角几何，其更新操作与迭代次数无关，使得已精细化和新引入的视图能够共同更新。该方法在持续迭代下保持准确重建，并纠正不准确状态，支持固定图像集合的精细化和新观察的集成。通过分析求解器动态并与最先进的方法进行比较，展示了单个学习求解器在离线重建、增量重建、重定位和流媒体等任务中的有效性。
🔬 方法详解
问题定义：本文旨在解决多视角几何重建中的扩展和精细化问题。现有方法通常在处理新视图时面临困难，无法有效更新已完成的几何估计。
核心思路：Solv3R的核心思路是设计一个循环变换器，使其能够在当前状态下继续解决多视角几何，且更新操作与迭代次数无关，从而实现视图的共同更新。
技术框架：Solv3R的整体架构包括输入图像的特征提取、状态更新模块和几何重建模块。通过循环结构，模型能够在每次迭代中整合新旧视图的信息。
关键创新：Solv3R的主要创新在于其更新操作的独立性，允许已精细化和新引入的视图共同更新，显著提升了重建的灵活性和准确性。
关键设计：在设计中，Solv3R采用了特定的损失函数以确保重建的准确性，并通过缓存机制提高了计算效率，允许在多次迭代中重用已解决视图的表示。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Solv3R在离线重建和增量重建任务中均优于现有最先进的方法，支持流媒体处理且无需特定任务训练，展现出良好的通用性和灵活性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、机器人导航、增强现实等。通过提高多视角几何重建的效率和准确性，Solv3R可以在实时场景重建和环境理解中发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
Classical structure-from-motion reconstruction proceeds iteratively, refining camera poses and scene geometry from a current estimate. This allows maps to easily expand without recomputing already computed views, or geometry estimates to improve as more observations are provided. Most geometric foundation models, however, predict entire geometry in a single forward pass or update a recurrent state as frames arrive sequentially, making this expansion and refinement non-trivial. We introduce Solv3R, a looped transformer that learns to continue solving multi-view geometry from its current state. Importantly, its update operator is independent of the iteration count, allowing previously refined and newly introduced views to be jointly updated regardless of how ``solved'' they are. We train the operator to preserve accurate reconstructions under continued iteration and correct inaccurate states, enabling refinement of fixed image collections and integration of new observations. Representations of solved views can also be cached once and reused as geometric context across iterations, enabling compact and efficient key-value caching. We analyze the solver dynamics and compare it with the state-of-the-art, demonstrating that a single learned solver supports offline reconstruction, incremental reconstruction, relocalization, and streaming without task-specific training or modules. The code and models will be made publicly available at https://ubc-vision.github.io/solv3r/.