ReCal3R: Reliability-Calibrated Learning Rates for Streaming 3D Reconstruction

📄 arXiv: 2607.05356v1 📥 PDF

作者: Xinze Li, Yiyuan Wang, Pengxu Chen, Wentao Fan, Weifeng Su, Weisi Lin, Wentao Cheng

分类: cs.CV

发布日期: 2026-07-06

备注: 23 pages, 7 figures. Project Page: https://powertony102.github.io/recal3r.github.io/

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReCal3R以解决流式3D重建中的可靠性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 流式3D重建 学习率校准 递归神经网络 场景理解 自动驾驶 虚拟现实 增强现实

📋 核心要点

  1. 现有流式3D重建方法在处理长图像流时，容易因重复更新而导致状态损坏，影响重建质量。
  2. ReCal3R通过估计状态令牌的可靠性来校准学习率，抑制不可靠信息的影响，增强对有用信息的适应性。
  3. 在CUT3R上应用ReCal3R后，实验结果显示在长序列上，姿态、深度和重建质量均有显著提升，ATE减少3.7倍。

📝 摘要（中文）

流式3D重建依赖于紧凑的递归场景状态来处理长图像流，但重复更新可能导致状态逐渐损坏，可靠的历史信息被噪声或模糊观察覆盖。为此，本文提出了ReCal3R，一种用于递归3D重建的可靠性校准学习率方法。该方法通过估计状态令牌的可靠性来校准候选学习率，从而抑制对不可靠令牌的激进更新，同时保持对信息帧的适应性。应用于CUT3R，ReCal3R在长序列的姿态、深度和重建质量上表现出色，达到3.7倍的ATE减少，且运行时间和内存使用相当。

🔬 方法详解

问题定义：流式3D重建依赖于递归场景状态，但在长时间序列中，重复更新可能导致状态信息被噪声覆盖，影响重建的可靠性和准确性。

核心思路：ReCal3R通过评估状态令牌的可靠性，动态调整学习率，以减少对不可靠信息的更新，同时保持对重要信息的适应性。

技术框架：该方法包括状态令牌的可靠性评估、候选学习率的计算和最终学习率的校准，形成一个闭环的反馈机制。

关键创新：ReCal3R的主要创新在于引入了基于可靠性校准的学习率调整机制，区别于传统方法直接应用固定学习率，增强了对信息的选择性更新能力。

关键设计：在设计中，候选学习率基于令牌对齐、状态重建残差和最近更新压力计算，最终的学习率在保守基率和候选率之间插值，以实现更灵活的更新策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在长序列测试中，ReCal3R显著提升了重建性能，达到3.7倍的ATE减少，且在运行时间和内存使用上与基线方法相当，展示了其高效性和实用性。

🎯 应用场景

ReCal3R在流式3D重建中具有广泛的应用潜力，尤其是在自动驾驶、虚拟现实和增强现实等领域。通过提高重建的可靠性和准确性，该方法能够有效支持实时场景理解和交互，推动相关技术的发展和应用。

📄 摘要（原文）

Streaming 3D reconstruction relies on a compact recurrent scene state to process long image streams in linear time and bounded memory. However, repeated updates can gradually corrupt this state, causing reliable historical information to be overwritten by noisy or ambiguous observations. We introduce ReCal3R, a reliability-calibrated learning rate method for recurrent 3D reconstruction. Instead of directly applying a candidate learning rate, our method estimates state token reliability from the maintained scene state and uses it to calibrate a candidate learning rate derived from token alignment, state reconstruction residual, and recent update pressure. The resulting token-wise learning rate interpolates between a conservative base rate and the candidate rate, suppressing aggressive updates on unreliable tokens while preserving adaptation to informative frames. Applied to CUT3R as a training-free calibration rule, ReCal3R reaches strong performance on long sequences in pose, depth, and reconstruction quality, including a 3.7$\times$ reduction in ATE, with comparable runtime and memory. Code is available at: https://github.com/Powertony102/ReCal3R.