Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction

📄 arXiv: 2608.27529v1 📥 PDF

作者: Jiarong Han, Jincheng Xiong, Yuzhou Liu, Linzhe Shi, Changjie Wu, Ning Guo, Mu Xu, Hang Zhang, Ming Qian

分类: cs.CV

发布日期: 2026-08-27

备注: Project Page: https://amap-cvlab.github.io/ABot-Recon-html/, Code: https://github.com/amap-cvlab/ABot-Recon

💡 一句话要点

提出ABot-Recon以解决长视频流3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 长视频流 3D重建 局部上下文 相机运动估计 模型优化

📋 核心要点

  1. 现有流式3D重建方法在处理长视频时，随着序列长度增加，估计精度显著下降，难以满足实时需求。
  2. 本文提出ABot-Recon模型，采用局部上下文进行预测，避免了长序列依赖，提升了重建稳定性和准确性。
  3. 在Oxford Spires等挑战性长序列基准上，ABot-Recon显著降低了重建误差，展示了其在长时间序列处理中的优越性能。

📝 摘要（中文）

从极长视频中进行流式3D重建需要在有限的内存和计算能力下在线估计相机运动和场景几何。早期的流式模型通过有限的上下文缓冲区或紧凑的递归状态实现因果推理，但随着序列增长，其估计往往会恶化。本文提出ABot-Recon模型，严格保持学习的时间状态局部，并制定与序列长度无关的预测。该模型仅缓存前11帧的KV特征，预测当前相机坐标系中的点图及相邻帧的相对姿态。实验表明，ABot-Recon在长序列基准测试中表现优越，尤其在Oxford Spires上，ATE为4.35米，RPE-R为0.12度，相较于最佳先前结果减少了约40%的误差。

🔬 方法详解

问题定义：本文旨在解决从极长视频流中进行3D重建时，现有方法在序列增长时估计精度下降的问题。早期模型依赖于有限的上下文，导致长序列处理不稳定。

核心思路：ABot-Recon模型的核心思想是保持学习的时间状态局部化，并制定与序列长度无关的预测，从而提高长序列的重建稳定性。

技术框架：ABot-Recon模型的整体架构包括缓存前11帧的KV特征，预测当前相机坐标系中的点图及相邻帧的相对姿态。模型通过序列组合恢复全局姿态和几何。

关键创新：最重要的技术创新在于模型的局部上下文处理方式，与现有方法相比，ABot-Recon避免了长序列依赖，保持了预测的独立性。

关键设计：模型设计中，采用轻量级的时间修正器来改善相对旋转，利用最近的视觉和运动上下文，同时引入基于组合的姿态损失函数来监督多步姿态组合。实验中，模型在长序列基准测试中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Oxford Spires基准测试中，ABot-Recon模型实现了4.35米的ATE和0.12度的RPE-R，相较于最佳先前结果，误差减少约40%，展示了其在长序列处理中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景，能够在实时处理长视频流的情况下，提供高精度的3D重建，具有重要的实际价值和未来影响。

📄 摘要（原文）

Streaming 3D reconstruction from extremely long videos requires estimating camera motion and scene geometry online under bounded memory and computation. Early streaming models achieve causal, bounded-cost inference using finite context buffers or compact recurrent states, yet their estimates often deteriorate as sequences grow. Recent methods improve long-horizon stability by coupling short-range context with persistent or multi-level long-range memory. We pursue a different route: we keep the learned temporal state strictly local and formulate predictions whose targets remain independent of sequence length. We present ABot-Recon, a simple streaming model that caches KV features from only the preceding 11 frames. It predicts a point map in the current camera coordinate system together with an adjacent-frame relative pose. These predictions remain equivariant under changes of reference frame, and global poses and geometry are recovered through sequential composition. To reduce accumulated drift, a lightweight temporal refiner improves relative rotations using recent visual and motion context, while a composition-aware pose loss supervises multi-step pose composition. Extensive evaluations on challenging long-sequence benchmarks demonstrate the superior long-horizon performance of our local-context approach. On Oxford Spires, ABot-Recon achieves an ATE of 4.35 m and an RPE-R of $0.12^\circ$, reducing both errors by approximately 40\% relative to the best prior results.