On-the-Fly3R: Towards Robust Online 3D Reconstruction with Feed-Forward 3R Models for Large-Scale UAV Scenarios

📄 arXiv: 2609.00923v1 📥 PDF

作者: Zhe Shen, Liyuan Lou, Yifei Yu, Guanbo Wang, Quanjian Ji, Xin Wang, Zongqian Zhan

分类: cs.CV

发布日期: 2026-09-01

备注: This paper was submitted to the ICRA 2027 for consideration. Copyright would be transferred if it got accepted

🔗 代码/项目: GITHUB

💡 一句话要点

提出On-the-Fly3R以解决大规模无人机场景下的3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 无人机 流式处理 动态子集构建 鲁棒性 位姿图优化 计算机视觉

📋 核心要点

  1. 现有的流式3D重建方法在处理无序图像流时效果不佳，限制了其在大规模无人机场景中的应用。
  2. 本文提出的On-the-Fly3R框架通过动态选择空间相关图像，支持无序输入的3D重建，且无需训练。
  3. 在多个无人机基准测试中，On-the-Fly3R成功处理超过5000张图像，显著提高了重建精度，优于多种现有方法。

📝 摘要（中文）

尽管前馈3D重建（3R）提供了高效的端到端建模，但其在大规模无人机映射中的应用受到Transformer注意力机制高昂内存成本的限制。目前的可扩展流式3R方法假设输入在时间和空间上是连续的，这使得它们在跨条带无人机操作中常见的弱序或无序图像流中效果不佳。为此，本文提出了On-the-Fly3R，一个无训练、渐进式的在线3D重建框架，旨在处理大规模无人机图像。该方法通过检索引导的动态子集构建，能够从无序输入中进行重建，并自适应选择空间相关的图像。为了进一步提高鲁棒性，设计了一种验证-拒绝-重试机制，以确保全局一致性，自动拒绝不对齐的图像并尝试替代子集。最后，受VSLAM启发，采用基于检索回环闭合的位姿图优化来减轻相机漂移。

🔬 方法详解

问题定义：本文旨在解决大规模无人机场景下的3D重建问题，现有方法在处理无序或弱序图像流时面临内存和一致性挑战。

核心思路：On-the-Fly3R框架通过检索引导的动态子集构建，能够从无序输入中进行有效重建，且设计了验证-拒绝-重试机制以增强鲁棒性。

技术框架：该框架包括三个主要模块：动态子集构建模块、验证-拒绝-重试模块和位姿图优化模块。动态子集构建模块负责选择相关图像，验证模块确保全局一致性，优化模块减轻相机漂移。

关键创新：最重要的创新在于动态子集构建和验证-拒绝-重试机制的结合，使得框架能够有效处理无序输入并保持全局一致性，这与现有方法的静态输入假设形成鲜明对比。

关键设计：在动态子集构建中，采用了检索引导的策略，确保选择的图像在空间上相关；验证模块通过一致性检查自动拒绝不对齐图像，重试机制则利用替代子集进行重建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个无人机基准测试中，On-the-Fly3R成功处理超过5000张图像，重建精度显著提高，优于多种最先进的流式3R方法，展示了其在大规模场景下的有效性和鲁棒性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在无人机地图制作、环境监测和灾后评估等领域。通过提高3D重建的鲁棒性和效率，On-the-Fly3R可以为实时数据处理和大规模场景重建提供支持，推动无人机技术的进一步发展。

📄 摘要（原文）

While feed-forward 3D reconstruction (3R) offers efficient end-to-end modeling, its application in large-scale UAV mapping is hindered by the prohibitive memory cost of Transformer attention. Current scalable streaming 3R methods assume temporally and spatially continuous inputs, rendering them ineffective for the weakly ordered or unordered image streams common in cross-strip UAV operations. To address this, we propose On-the-Fly3R, a training-free, progressive online 3D reconstruction framework for large-scale UAV images that upgrades various 3R backbones for large-scale UAV scenarios. Our method enables reconstruction from unordered inputs via retrieval-guided dynamic subset construction, which adaptively selects spatially relevant images. To further improve the robustness, a validation-rejection-retry mechanism is designed to guarantee global consistency, performing a pre-integration consistency check and automatically rejecting misaligned images and retrying with alternative subset. Finally, inspired by VSLAM, pose graph optimization based on the retrieval loop closure is employed to mitigate camera drift. Evaluations on several UAV benchmarks show that our On-the-Fly3R successfully scales various 3R models to over 5,000 images across square-kilometer UAV scenes, delivering substantially superior accuracy compared to several SOTA streaming 3R methods. Code is available at https://github.com/Sh1nZzz/On_the_Fly3R