ASTRA: Asynchronous Spatio-Temporal Reconstruction via Trajectory Alignment

📄 arXiv: 2608.02006v1 📥 PDF

作者: Junyu Zhu, Hao Zhu, Xinzhuo Zhang, Hongdong Li, Zhan Ma, Xun Cao

分类: cs.CV

发布日期: 2026-08-03

💡 一句话要点

提出ASTRA以解决动态场景重建中的时间异步问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 时间异步 轨迹对齐 3D重建 计算机视觉

📋 核心要点

  1. 现有的异步重建方法在处理时间偏移时面临光度监督不足的问题，导致重建效果不佳。
  2. ASTRA框架通过引入2D运动轨迹作为监督，优化时间偏移与动态3D表示，克服了现有方法的局限性。
  3. 实验结果表明，ASTRA在高达25帧的时间异步情况下，PSNR提升约1.4 dB，时间偏移MAE降低54.0%，同步成功率几乎提高四倍。

📝 摘要（中文）

动态3D场景重建在严格同步的多摄像头输入下取得了显著成功。然而，在实际场景中，捕捉设备之间的时间异步性仍然是一个关键挑战，导致严重的运动模糊和几何伪影。现有的异步重建方法通常通过光度监督来估计时间偏移，但在大偏移和复杂运动下，外观匹配提供的时间线索较弱。为了解决这些问题，本文提出了ASTRA（通过轨迹对齐的异步时空重建）框架，引入2D运动轨迹作为异步动态重建的显式、无纹理监督。ASTRA通过对齐重建3D点的投影运动与观察到的2D轨迹，联合优化时间偏移和动态3D表示，同时使用动态和确定性掩蔽来抑制不可靠的轨迹约束。

🔬 方法详解

问题定义：本文旨在解决动态3D场景重建中的时间异步问题。现有方法依赖光度监督来估计时间偏移，但在大偏移和复杂运动下，外观匹配的时间线索较弱，导致重建效果不理想。

核心思路：ASTRA框架通过引入2D运动轨迹作为无纹理的显式监督，优化时间偏移和动态3D表示。通过对齐重建3D点的投影运动与观察到的2D轨迹，ASTRA有效克服了现有方法中的纹理诱导崩溃和变形诱导耦合问题。

技术框架：ASTRA的整体架构包括两个主要模块：1) 2D运动轨迹的提取与处理；2) 3D点的动态重建与时间偏移的优化。通过动态和确定性掩蔽，抑制不可靠的轨迹约束，从而提高重建的准确性。

关键创新：ASTRA的主要创新在于将2D运动轨迹作为显式监督引入异步重建过程，这一设计使得重建不再依赖于纹理信息，从而提升了在低纹理区域的重建效果。

关键设计：在参数设置上，ASTRA使用动态掩蔽策略来识别和抑制不可靠的轨迹约束，同时采用特定的损失函数来优化时间偏移和3D表示的联合学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ASTRA在不同动态高斯喷溅基础上进行的广泛实验表明，其在高达25帧的时间异步情况下，PSNR提升约1.4 dB，时间偏移的平均绝对误差（MAE）降低54.0%，同步成功率几乎提高四倍，显示出其在处理时间异步问题上的显著优势。

🎯 应用场景

ASTRA的研究成果在多个领域具有广泛的应用潜力，包括虚拟现实、增强现实、机器人导航和自动驾驶等。通过提高动态场景重建的准确性和鲁棒性，ASTRA能够为实时系统提供更可靠的环境感知能力，推动相关技术的发展与应用。

📄 摘要（原文）

Dynamic 3D scene reconstruction has achieved remarkable success under the assumption of strictly synchronized multi-camera inputs. However, in real-world scenarios, temporal asynchrony among capturing devices remains a critical challenge, leading to severe motion blur and geometric artifacts. Existing asynchronous reconstruction methods typically estimate temporal offsets through photometric supervision, but appearance matching provides weak temporal cues under large offsets and complex motions. We attribute this limitation to two major bottlenecks: texture-induced collapse, where low-texture regions provide nearly vanishing alignment signals, and deformation-induced coupling, where temporal errors are absorbed into distorted geometry or motion rather than being explicitly corrected. To address these issues, we propose ASTRA (Asynchronous Spatio-Temporal Reconstruction via Trajectory Alignment), a framework that introduces 2D motion trajectories as explicit, texture-agnostic supervision for asynchronous dynamic reconstruction. Instead of synchronizing cameras solely through rendered color residuals, ASTRA jointly optimizes temporal offsets and dynamic 3D representations by aligning the projected motion of reconstructed 3D points with observed 2D trajectories, while using dynamic and certainty masking to suppress unreliable trajectory constraints. Extensive experiments on different dynamic Gaussian Splatting backbones show that ASTRA preserves high-frequency spatial details and sustains strong robustness even under severe asynchrony with up to 25-frame offsets, achieving approximately 1.4 dB PSNR improvement, reducing temporal-offset MAE by 54.0\%, and nearly quadrupling the synchronization success rate.