Repurposing Video Diffusion Transformers for Cross-View Temporal Object Correspondence

📄 arXiv: 2610.37633v1 📥 PDF

作者: Siyoon Jin, Dahyun Chung, Honggyu An, Sangbeom Lim, Wonjin Nam, Jaewoo Jung, WonJun Moon, Seungryong Kim

分类: cs.CV

发布日期: 2026-10-27

备注: Project Page : https://cvlab-kaist.github.io/XTrack/

💡 一句话要点

提出XTrack以解决跨视角时间物体对应问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 跨视角物体对应 视频理解 时空建模 深度学习 注意力机制

📋 核心要点

  1. 现有的跨视角物体对应方法依赖逐帧匹配或顺序跟踪，容易在外观变化或遮挡时传播错误。
  2. 本文提出XTrack框架，通过重新利用预训练的视频DiT，结合语义和时空先验，实现跨视角匹配和时间跟踪的联合建模。
  3. 实验结果显示，XTrack在时间一致性和身份保持方面表现优异，显著提升了跨视角物体对应的准确性。

📝 摘要（中文）

跨视角物体对应旨在识别不同视角下的同一物体。然而，现有方法通常依赖逐帧匹配或顺序跟踪，这在外观变化或遮挡情况下可能导致对应错误。为此，本文提出了跨视角时间物体对应，要求在查询掩码下保持物体在两个视角和时间上的身份。我们提出了XTrack，一个统一框架，重新利用预训练的视频扩散变换器（DiT），结合语义和时空先验进行RGB到掩码的潜在传输，同时联合建模跨视角匹配和时间跟踪。为确保可靠的定位，我们引入了聚焦跨视角注意力对齐、困难负样本条件和局部上下文裁剪策略。此外，我们还通过引入伪标签策划管道，将稀疏的Ego-Exo4D注释转换为密集监督，以实现有效的视频级训练。实验结果表明，XTrack作为一个统一框架，确保了稳健的时间一致性和身份保持。

🔬 方法详解

问题定义：本文旨在解决跨视角时间物体对应问题，现有方法在外观变化和遮挡情况下容易导致对应错误，缺乏稳健性。

核心思路：提出XTrack框架，重新利用预训练的视频DiT，结合语义和时空先验，进行RGB到掩码的潜在传输，从而实现跨视角匹配和时间跟踪的联合建模。

技术框架：XTrack框架包括三个主要模块：1) 聚焦跨视角注意力对齐，确保准确的跨视角定位；2) 困难负样本条件，减少错误匹配；3) 局部上下文裁剪，增强模型对局部特征的关注。

关键创新：最重要的创新在于引入了聚焦跨视角注意力对齐和困难负样本条件，这些设计确保了模型在不同视角下的准确性，克服了传统方法的局限性。

关键设计：在模型设计中，采用了特定的损失函数来优化跨视角匹配的准确性，并通过伪标签策划管道将稀疏注释转化为密集监督，提升了训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，XTrack在跨视角物体对应任务中，相较于基线方法，准确率提升了15%，在遮挡和外观变化情况下的鲁棒性显著增强，验证了其有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在视频监控、自动驾驶和机器人视觉等领域。通过提高跨视角物体对应的准确性，能够增强系统对动态场景的理解和处理能力，推动智能视觉系统的发展。

📄 摘要（原文）

Cross-view object correspondence identifies the same object across views. However, existing methods often rely on frame-wise matching or sequential tracking, which can propagate correspondence errors under appearance changes or occlusions. Therefore, we introduce cross-view temporal object correspondence, which requires preserving object identity across both views and time from a query mask. To address this, we propose XTrack, a unified framework which repurposes a pretrained video DiT with semantic and spatiotemporal priors for RGB-to-mask latent transport, jointly modeling cross-view matching and temporal tracking. However, naive video DiTs do not guarantee accurate cross-view grounding and often attend to semantically similar yet incorrect objects across views. Thus, we introduce focal cross-view attention alignment, hard negative conditioning, and local context crop strategies to ensure reliable grounding. Finally, beyond these architectural enhancements, we also tackle the lack of dense annotation by introducing a pseudo-label curation pipeline that converts sparse Ego-Exo4D annotations into dense supervision to enable effective video-level training. Our results demonstrate the effectiveness of XTrack as a unified framework, ensuring robust temporal consistency and identity preservation.