MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation

📄 arXiv: 2606.26087v1 📥 PDF

作者: JoungBin Lee, Jaewoo Jung, Jongmin Lee, Tongmin Kim, Hyunsung Kim, Takuya Narihira, Kazumi Fukuda, Jahyeok Koo, Jisang Han, Yuki Mitsufuji, Seungryong Kim

分类: cs.CV

发布日期: 2026-06-24

备注: Project Page : https://cvlab-kaist.github.io/MVTrack4Gen/

💡 一句话要点

提出MVTrack4Gen以解决单目视频生成中的几何一致性问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 视频生成 几何一致性 运动感知 多视点跟踪 深度学习

📋 核心要点

  1. 现有方法在动态物体的几何重建上存在准确性不足的问题，导致生成视频的运动一致性差。
  2. MVTrack4Gen通过引入多视点跟踪作为几何和运动监督信号，增强了相机条件模型的性能。
  3. 在多个基准测试中，该方法实现了最先进的几何一致性和竞争力的相机精度，显著提升了生成效果。

📝 摘要（中文）

合成新视角视频需要在几何一致性和运动保真度之间取得平衡。现有基于显式3D表示的方法受限于重建模块的准确性，而仅依赖相机条件的方法则难以保持几何和运动一致性。本文提出MVTrack4Gen，一个运动感知训练框架，通过多视点跟踪提供额外的几何和运动监督信号，从而改善相机条件模型的性能。实验结果表明，该方法在几何一致性和相机精度上均达到了最先进的水平。

🔬 方法详解

问题定义：本文旨在解决从单目参考视频生成新视角视频时的几何一致性和运动保真度问题。现有方法在动态物体的几何重建上存在准确性不足，导致生成视频的运动一致性差。

核心思路：MVTrack4Gen的核心思想是利用多视点跟踪作为额外的几何和运动监督信号，来增强相机条件模型的训练效果。通过关注特定的注意力层，模型能够在几何对应位置上建立强关联，从而改善运动一致性。

技术框架：该方法的整体架构包括一个多视点跟踪头和一个扩展的扩散模型。多视点跟踪头负责提取运动感知特征，并与扩散模型共同训练，以实现更好的几何一致性和运动跟踪。

关键创新：MVTrack4Gen的主要创新在于引入了多视点跟踪作为辅助监督信号，显著增强了模型对运动一致性的捕捉能力。这一设计与传统方法的本质区别在于，后者通常依赖于单一视角的几何信息。

关键设计：在模型设计中，特定的注意力层被用于编码几何对应特征，损失函数则结合了多视点跟踪目标，以确保模型在训练过程中能够有效学习运动感知特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，MVTrack4Gen在几何一致性上达到了最先进的水平，并在相机精度上表现出竞争力。与现有方法相比，该方法在运动一致性上有显著提升，具体性能数据尚未披露。

🎯 应用场景

MVTrack4Gen的研究成果在虚拟现实、增强现实和电影制作等领域具有广泛的应用潜力。通过提高视频生成的几何一致性和运动保真度，该技术能够为用户提供更真实的视觉体验，推动相关产业的发展。

📄 摘要（原文）

Synthesizing a novel-view video from a monocular reference video along a target camera trajectory requires both geometric consistency and motion fidelity with respect to the reference video. Existing methods based on explicit 3D representations are limited by the accuracy of off-the-shelf reconstruction modules, which often produce inaccurate geometry for dynamic objects in monocular videos. In contrast, camera-conditioning-only methods can achieve high visual quality but often struggle to preserve geometric and motion consistency. In this work, we introduce MVTrack4Gen (Multi-View point Tracking for Novel-View Generation), a motion-aware training framework that leverages multi-view point tracking as an additional geometric and motion supervision signal for camera-conditioning-only novel-view video diffusion models. Our key finding is that specific attention layers encode strong correspondence cues, where query features attend to key features at geometrically corresponding locations across views and over time, and the misalignment of these correspondences causes motion inconsistency. Based on this observation, we route these features into an auxiliary multi-view tracking head and jointly train the diffusion model with a point-tracking objective. By explicitly strengthening these motion-aware correspondences, MVTrack4Gen improves existing models to better follow the motion in the reference view and maintain cross-view geometric consistency. Across diverse benchmarks, our method achieves state-of-the-art geometric consistency and competitive camera accuracy.