Track Everything Everywhere Fast and Robustly

📄 arXiv: 2403.17931v1 📥 PDF

作者: Yunzhou Song, Jiahui Lei, Ziyun Wang, Lingjie Liu, Kostas Daniilidis

分类: cs.CV

发布日期: 2024-03-26

备注: project page: https://timsong412.github.io/FastOmniTrack/

💡 一句话要点

提出CaDeX++以解决视频跟踪效率与鲁棒性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频跟踪 优化方法 深度学习 可逆网络 几何偏置 时空特征 长时语义 鲁棒性提升

📋 核心要点

  1. 现有的OmniMotion方法在优化时间上过于冗长，限制了其实用性，同时对随机种子的选择敏感，导致收敛不稳定。
  2. 本文提出的CaDeX++网络通过局部时空特征网格和非线性函数增强了跟踪的效率和鲁棒性。
  3. 实验结果显示，CaDeX++在训练速度、鲁棒性和准确性上均显著优于现有的OmniMotion方法，提升幅度超过10倍。

📝 摘要（中文）

本文提出了一种新颖的测试时优化方法，旨在高效且稳健地跟踪视频中的任意像素。最新的基于优化的跟踪技术OmniMotion优化时间过长，导致其在下游应用中的实用性不足，同时对随机种子的选择敏感，导致收敛不稳定。为提高效率和鲁棒性，本文引入了一种可逆变形网络CaDeX++，将函数表示分解为局部时空特征网格，并通过非线性函数增强耦合块的表达能力。CaDeX++在架构设计中融入了更强的几何偏置，同时利用了视觉基础模型提供的归纳偏置。实验结果表明，训练速度提升超过10倍，跟踪的鲁棒性和准确性也显著提高。

🔬 方法详解

问题定义：本文旨在解决视频跟踪中存在的效率低下和鲁棒性不足的问题，现有的OmniMotion方法在优化时间上过于冗长，且对随机种子敏感，导致不稳定的收敛性。

核心思路：提出的CaDeX++网络通过引入可逆变形网络，分解函数表示为局部时空特征网格，增强了跟踪过程中的表达能力，从而提高了效率和鲁棒性。

技术框架：整体架构包括局部时空特征网格、可逆变形模块和基于DINOv2的长时语义调节模块，形成一个高效的优化流程。

关键创新：CaDeX++的主要创新在于其可逆变形网络设计，结合了更强的几何偏置和视觉基础模型的归纳偏置，显著提升了跟踪的性能。

关键设计：在网络结构上，CaDeX++采用了非线性函数增强耦合块的表达能力，并通过单目深度估计来表示场景几何，优化过程则结合了DINOv2的长时语义信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CaDeX++在训练速度上提升超过10倍，相较于基于优化的SoTA方法OmniMotion，跟踪的鲁棒性和准确性也得到了显著改善，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、增强现实等场景，能够在实时跟踪和分析中提供更高的效率和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose a novel test-time optimization approach for efficiently and robustly tracking any pixel at any time in a video. The latest state-of-the-art optimization-based tracking technique, OmniMotion, requires a prohibitively long optimization time, rendering it impractical for downstream applications. OmniMotion is sensitive to the choice of random seeds, leading to unstable convergence. To improve efficiency and robustness, we introduce a novel invertible deformation network, CaDeX++, which factorizes the function representation into a local spatial-temporal feature grid and enhances the expressivity of the coupling blocks with non-linear functions. While CaDeX++ incorporates a stronger geometric bias within its architectural design, it also takes advantage of the inductive bias provided by the vision foundation models. Our system utilizes monocular depth estimation to represent scene geometry and enhances the objective by incorporating DINOv2 long-term semantics to regulate the optimization process. Our experiments demonstrate a substantial improvement in training speed (more than \textbf{10 times} faster), robustness, and accuracy in tracking over the SoTA optimization-based method OmniMotion.