Track4World: Feedforward World-centric Dense 3D Tracking of All Pixels

📄 arXiv: 2603.02573v1 📥 PDF

作者: Jiahao Lu, Jiayi Xu, Wenbo Hu, Ruijie Zhu, Chengfeng Zhao, Sai-Kit Yeung, Ying Shan, Yuan Liu

分类: cs.CV

发布日期: 2026-03-03

备注: Project Page: https://jiah-cloud.github.io/Track4World.github.io/

💡 一句话要点

Track4World：提出一种前馈世界坐标系下的像素级稠密3D跟踪方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目3D跟踪 稠密光流估计 场景流 世界坐标系 前馈网络

📋 核心要点

  1. 现有单目3D跟踪方法通常局限于跟踪第一帧上的稀疏点，或采用基于优化的慢速稠密跟踪框架，无法满足高效理解视频3D动态的需求。
  2. Track4World通过构建全局3D场景表示，并利用新颖的3D相关方案，实现像素级2D和3D稠密光流的同步估计，从而进行高效的3D跟踪。
  3. 实验结果表明，Track4World在2D/3D光流估计和3D跟踪方面优于现有方法，验证了其在4D重建任务中的有效性和可扩展性。

📝 摘要（中文）

本文提出了一种名为Track4World的前馈模型，旨在实现高效的、以世界坐标系为中心的视频中每个像素的整体3D跟踪。该模型基于VGGT风格的ViT编码的全局3D场景表示，并应用了一种新颖的3D相关方案，以同时估计任意帧对之间的像素级2D和3D稠密光流。估计的场景流以及重建的3D几何体，使得能够高效地对视频中的每个像素进行后续的3D跟踪。在多个基准测试上的大量实验表明，我们的方法在2D/3D光流估计和3D跟踪方面始终优于现有方法，突出了其在真实世界4D重建任务中的鲁棒性和可扩展性。

🔬 方法详解

问题定义：现有单目视频3D跟踪方法主要存在两个痛点：一是只能跟踪第一帧的稀疏点，无法实现稠密跟踪；二是对于稠密跟踪，通常采用基于优化的方法，计算效率较低，难以应用于实时场景。因此，如何实现高效、稠密的单目视频3D跟踪是一个关键问题。

核心思路：Track4World的核心思路是利用前馈网络直接预测像素级的2D和3D光流，从而避免了迭代优化过程，提高了跟踪效率。同时，该方法将场景表示为全局3D结构，并利用3D相关性来建立不同帧之间像素的对应关系，从而实现更准确的跟踪。

技术框架：Track4World的整体框架包括以下几个主要模块：1) 使用VGGT风格的ViT编码器提取全局3D场景特征；2) 利用提出的3D相关方案，计算任意两帧之间的像素级2D和3D稠密光流；3) 结合估计的场景流和重建的3D几何体，实现对视频中每个像素的3D跟踪。

关键创新：Track4World的关键创新在于提出了一个完全前馈的稠密3D跟踪框架，避免了传统优化方法的迭代过程，显著提高了跟踪效率。此外，提出的3D相关方案能够有效地建立不同帧之间像素的对应关系，从而实现更准确的跟踪。与现有方法相比，Track4World能够直接预测像素级的2D和3D光流，无需进行复杂的优化计算。

关键设计：Track4World使用VGGT风格的ViT作为3D场景编码器，具体参数设置未知。3D相关方案的实现细节未知，但其目的是为了建立不同帧之间像素的对应关系。损失函数的设计可能包括2D和3D光流的重构误差，以及3D跟踪的几何一致性约束。网络结构的详细设计未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Track4World在多个基准测试中取得了显著的性能提升。具体的数据和对比基线未知，但摘要中提到该方法在2D/3D光流估计和3D跟踪方面始终优于现有方法，表明其具有很强的竞争力。实验结果突出了Track4World在真实世界4D重建任务中的鲁棒性和可扩展性。

🎯 应用场景

Track4World在机器人导航、自动驾驶、虚拟现实和增强现实等领域具有广泛的应用前景。它可以帮助机器人更好地理解周围环境的3D动态，从而实现更智能的导航和交互。在自动驾驶领域，它可以用于精确估计车辆周围物体的运动轨迹，提高驾驶安全性。在VR/AR领域，它可以用于创建更逼真的3D场景和更自然的交互体验。

📄 摘要（原文）

Estimating the 3D trajectory of every pixel from a monocular video is crucial and promising for a comprehensive understanding of the 3D dynamics of videos. Recent monocular 3D tracking works demonstrate impressive performance, but are limited to either tracking sparse points on the first frame or a slow optimization-based framework for dense tracking. In this paper, we propose a feedforward model, called Track4World, enabling an efficient holistic 3D tracking of every pixel in the world-centric coordinate system. Built on the global 3D scene representation encoded by a VGGT-style ViT, Track4World applies a novel 3D correlation scheme to simultaneously estimate the pixel-wise 2D and 3D dense flow between arbitrary frame pairs. The estimated scene flow, along with the reconstructed 3D geometry, enables subsequent efficient 3D tracking of every pixel of this video. Extensive experiments on multiple benchmarks demonstrate that our approach consistently outperforms existing methods in 2D/3D flow estimation and 3D tracking, highlighting its robustness and scalability for real-world 4D reconstruction tasks.