DePT3R: Joint Dense Point Tracking and 3D Reconstruction of Dynamic Scenes in a Single Forward Pass

📄 arXiv: 2512.13122v1 📥 PDF

作者: Vivek Alumootil, Tuan-Anh Vu, M. Khalid Jawed

分类: cs.CV, cs.AI

发布日期: 2025-12-15

备注: This is a work in progress

🔗 代码/项目: GITHUB

💡 一句话要点

DePT3R：单次前向传播实现动态场景的联合稠密点追踪与3D重建

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 动态场景理解 稠密点追踪 3D重建 多任务学习 深度学习 无位姿估计 时空特征提取

📋 核心要点

  1. 现有动态场景稠密3D点追踪方法依赖成对处理、已知相机位姿或输入帧的时序，限制了其灵活性和适用性。
  2. DePT3R通过单次前向传播，联合执行稠密点追踪和3D重建，无需相机位姿，提升了动态场景理解的效率和适应性。
  3. 实验表明，DePT3R在动态场景基准测试中表现出色，并在内存效率方面优于现有方法，具有显著优势。

📝 摘要（中文）

本文提出DePT3R，一个新颖的框架，能够在单次前向传播中同时执行动态场景的稠密点追踪和3D重建。该方法通过强大的骨干网络提取深度时空特征，并使用稠密预测头回归像素级映射来实现多任务学习。DePT3R无需相机位姿信息即可运行，显著提高了其适应性和效率，这在快速变化的动态环境中尤为重要。在多个具有挑战性的动态场景基准测试中验证了DePT3R，结果表明该方法具有强大的性能，并且在内存效率方面比现有的最先进方法有了显著的改进。代码已开源。

🔬 方法详解

问题定义：现有动态场景的稠密3D点追踪方法通常需要成对处理图像，或者依赖于已知的相机位姿，又或者假设输入帧之间存在特定的时间顺序。这些限制使得它们在处理复杂、快速变化的动态场景时缺乏灵活性和效率。此外，如何将高效的大规模无位姿图像3D重建技术应用于动态场景理解也是一个挑战。

核心思路：DePT3R的核心思路是通过多任务学习，在一个统一的框架中同时解决稠密点追踪和3D重建问题。通过共享的深度时空特征提取网络，以及针对不同任务的预测头，实现高效的单次前向传播。无需相机位姿信息，使得该方法更具通用性和鲁棒性。

技术框架：DePT3R的整体框架包括一个强大的骨干网络，用于提取输入图像的深度时空特征。然后，这些特征被送入多个稠密预测头，分别用于回归像素级的点追踪映射和3D重建信息。整个过程在一个前向传播中完成，实现了高效的联合优化。

关键创新：DePT3R最关键的创新在于其联合学习框架，它能够同时进行稠密点追踪和3D重建，而无需相机位姿信息。这与传统的依赖于相机位姿或成对图像处理的方法形成了鲜明对比，大大提高了处理动态场景的效率和适应性。

关键设计：DePT3R的关键设计包括：1）选择合适的深度学习骨干网络，以有效地提取时空特征；2）设计针对点追踪和3D重建任务的预测头，并优化相应的损失函数，以实现有效的多任务学习；3）采用合适的正则化策略，以防止过拟合，并提高模型的泛化能力。具体的网络结构和损失函数细节在论文中有更详细的描述。

📊 实验亮点

DePT3R在多个动态场景基准测试中取得了优异的性能，证明了其有效性。尤其值得一提的是，DePT3R在内存效率方面相比现有方法有了显著提升，这使得它更适合在资源受限的平台上部署。具体的性能数据和对比结果可以在论文的实验部分找到。

🎯 应用场景

DePT3R具有广泛的应用前景，例如在自动驾驶领域，可以用于实时感知动态环境中的运动物体并进行三维重建，从而提高驾驶安全性。在机器人领域，可以帮助机器人理解和操作动态环境，例如在拥挤的人群中导航或在复杂的工厂环境中进行装配。此外，该技术还可以应用于虚拟现实和增强现实领域，用于创建更逼真的动态场景。

📄 摘要（原文）

Current methods for dense 3D point tracking in dynamic scenes typically rely on pairwise processing, require known camera poses, or assume a temporal ordering to input frames, constraining their flexibility and applicability. Additionally, recent advances have successfully enabled efficient 3D reconstruction from large-scale, unposed image collections, underscoring opportunities for unified approaches to dynamic scene understanding. Motivated by this, we propose DePT3R, a novel framework that simultaneously performs dense point tracking and 3D reconstruction of dynamic scenes from multiple images in a single forward pass. This multi-task learning is achieved by extracting deep spatio-temporal features with a powerful backbone and regressing pixel-wise maps with dense prediction heads. Crucially, DePT3R operates without requiring camera poses, substantially enhancing its adaptability and efficiency-especially important in dynamic environments with rapid changes. We validate DePT3R on several challenging benchmarks involving dynamic scenes, demonstrating strong performance and significant improvements in memory efficiency over existing state-of-the-art methods. Data and codes are available via the open repository: https://github.com/StructuresComp/DePT3R