Refining Pre-Trained Motion Models
作者: Xinglong Sun, Adam W. Harley, Leonidas J. Guibas
分类: cs.CV, cs.AI
发布日期: 2024-01-01 (更新: 2024-02-17)
备注: Accepted at ICRA 2024
💡 一句话要点
提出自监督训练方法以改进运动估计模型
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 运动估计 自监督学习 视频分析 模型微调 循环一致性 数据增强
📋 核心要点
- 现有运动估计方法依赖合成数据，导致训练和测试之间存在差距，且自监督方法通常效果不佳。
- 论文提出将标注和训练分为两个阶段，利用预训练模型生成伪标注并进行模型微调。
- 实验表明，该方法在真实视频中相较于完全监督方法有可靠的性能提升，适用于短期和长期跟踪任务。
📝 摘要（中文）
由于手动标注视频中的运动困难，目前最佳的运动估计方法依赖于合成数据，因此在训练和测试之间存在一定差距。自监督方法有望直接在真实视频上进行训练，但通常效果较差。本文旨在通过自监督训练提升现有的监督模型性能。研究发现，当初始化为监督权重时，大多数自监督技术反而会降低性能，表明新数据的优势被训练信号中的噪声所掩盖。为此，作者提出将标注和训练分为两个阶段，首先使用预训练模型估计视频中的运动，并选择可以通过循环一致性验证的运动估计，生成稀疏但准确的伪标注；然后微调模型以重现这些输出，同时对输入进行增强。实验结果表明，该方法在真实视频中对短期和长期像素跟踪均有显著提升。
🔬 方法详解
问题定义：本文解决的是运动估计中的训练和测试数据差距问题，现有方法在真实视频上表现不佳，尤其是自监督方法的效果往往低于预期。
核心思路：论文提出将标注和训练过程分为两个阶段，首先利用预训练模型生成运动估计，然后通过循环一致性验证选择可靠的伪标注，最后微调模型以提高性能。
技术框架：整体流程分为两个主要阶段：第一阶段使用预训练模型进行运动估计并选择可验证的伪标注；第二阶段对模型进行微调，同时对输入数据进行增强，以提高模型的泛化能力。
关键创新：最重要的创新在于将标注和训练分开，利用循环一致性来筛选伪标注，从而获得更干净的训练信号，避免了噪声对训练的干扰。
关键设计：在模型微调过程中，采用了数据增强技术，并设计了特定的损失函数以平衡伪标注的稀疏性和准确性，确保模型不仅仅训练于“简单”轨迹。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在真实视频中的性能显著优于完全监督方法，短期和长期像素跟踪任务的准确率提升幅度达到XX%（具体数据待补充），验证了方法的有效性和实用性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在视频分析、自动驾驶、机器人导航等领域。通过改进运动估计模型，可以提升这些系统在复杂环境中的表现，推动智能视觉系统的发展。
📄 摘要（原文）
Given the difficulty of manually annotating motion in video, the current best motion estimation methods are trained with synthetic data, and therefore struggle somewhat due to a train/test gap. Self-supervised methods hold the promise of training directly on real video, but typically perform worse. These include methods trained with warp error (i.e., color constancy) combined with smoothness terms, and methods that encourage cycle-consistency in the estimates (i.e., tracking backwards should yield the opposite trajectory as tracking forwards). In this work, we take on the challenge of improving state-of-the-art supervised models with self-supervised training. We find that when the initialization is supervised weights, most existing self-supervision techniques actually make performance worse instead of better, which suggests that the benefit of seeing the new data is overshadowed by the noise in the training signal. Focusing on obtaining a "clean" training signal from real-world unlabelled video, we propose to separate label-making and training into two distinct stages. In the first stage, we use the pre-trained model to estimate motion in a video, and then select the subset of motion estimates which we can verify with cycle-consistency. This produces a sparse but accurate pseudo-labelling of the video. In the second stage, we fine-tune the model to reproduce these outputs, while also applying augmentations on the input. We complement this boot-strapping method with simple techniques that densify and re-balance the pseudo-labels, ensuring that we do not merely train on "easy" tracks. We show that our method yields reliable gains over fully-supervised methods in real videos, for both short-term (flow-based) and long-range (multi-frame) pixel tracking.