FlowDA: Unsupervised Domain Adaptive Framework for Optical Flow Estimation

📄 arXiv: 2312.16995v1 📥 PDF

作者: Miaojie Feng, Longliang Liu, Hao Jia, Gangwei Xu, Xin Yang

分类: cs.CV

发布日期: 2023-12-28

备注: 11 pages, 5 figures

💡 一句话要点

FlowDA：面向光流估计的无监督领域自适应框架，提升真实场景性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光流估计 无监督学习 领域自适应 Mean-Teacher 课程学习

📋 核心要点

  1. 真实光流数据标注成本高，导致模型在真实场景表现受限，虚拟数据与真实数据存在领域差异。
  2. FlowDA基于Mean-Teacher架构，结合无监督光流估计技术，实现无监督领域自适应。
  3. 提出自适应课程加权（ACW）模块，基于课程学习提升训练效果，显著优于现有方法。

📝 摘要（中文）

由于标注成本高昂，收集真实世界的光流数据集极具挑战性。数据集的短缺严重限制了光流模型在真实场景中的性能。构建类似于真实场景的虚拟数据集为性能提升提供了一种潜在的解决方案，但虚拟数据集和真实数据集之间存在领域差距。本文提出了一种用于光流估计的无监督领域自适应（UDA）框架FlowDA。FlowDA采用基于Mean-Teacher的UDA架构，并整合了无监督光流估计中的概念和技术。此外，还提出了一种基于课程学习的自适应课程加权（ACW）模块，以提高训练效果。实验结果表明，我们的FlowDA优于最先进的无监督光流估计方法SMURF 21.6%，真实光流数据集生成方法MPI-Flow 27.8%，以及光流估计自适应方法FlowSupervisor 30.9%，为提高光流估计在真实场景中的性能提供了新的见解。代码将在论文发表后开源。

🔬 方法详解

问题定义：论文旨在解决光流估计模型在真实场景中性能不佳的问题。现有方法依赖大量标注数据，而真实场景数据标注成本高昂。使用虚拟数据训练模型，又存在与真实数据之间的领域差异，导致模型泛化能力不足。

核心思路：论文的核心思路是利用无监督领域自适应（UDA）方法，将模型从虚拟数据领域迁移到真实数据领域，从而提高模型在真实场景中的光流估计精度。通过Mean-Teacher架构和自适应课程加权策略，使模型能够有效地学习真实数据的特征，并克服领域差异带来的影响。

技术框架：FlowDA框架基于Mean-Teacher架构，包含Student网络和Teacher网络。Student网络在虚拟数据和真实数据上进行训练，Teacher网络是Student网络的指数移动平均，用于提供更稳定的目标。框架还包含一个自适应课程加权（ACW）模块，用于根据样本的难易程度动态调整损失权重。整体流程是：首先使用虚拟数据预训练Student网络，然后使用虚拟数据和真实数据进行联合训练，同时使用ACW模块调整损失权重，最终得到一个在真实场景中表现良好的光流估计模型。

关键创新：论文的关键创新在于提出了一个完整的无监督领域自适应框架FlowDA，并设计了自适应课程加权（ACW）模块。ACW模块能够根据样本的难易程度动态调整损失权重，从而使模型能够更有效地学习难样本的特征，提高模型的泛化能力。与现有方法相比，FlowDA无需人工标注数据，能够更好地适应真实场景的变化。

关键设计：ACW模块的关键设计在于使用一个可学习的权重函数，根据样本的预测误差动态调整损失权重。权重函数的输入是Student网络和Teacher网络的预测差异，输出是每个样本的权重。损失函数包括光流损失、平滑损失和一致性损失。光流损失用于衡量预测光流与真实光流之间的差异，平滑损失用于约束光流场的平滑性，一致性损失用于约束Student网络和Teacher网络的预测一致性。

📊 实验亮点

实验结果表明，FlowDA在多个光流数据集上取得了显著的性能提升。与最先进的无监督光流估计方法SMURF相比，FlowDA的性能提升了21.6%。与真实光流数据集生成方法MPI-Flow相比，FlowDA的性能提升了27.8%。与光流估计自适应方法FlowSupervisor相比，FlowDA的性能提升了30.9%。这些结果表明，FlowDA能够有效地利用无监督领域自适应技术，提高光流估计模型在真实场景中的性能。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、视频监控等领域。在自动驾驶中，准确的光流估计是感知周围环境的关键技术之一。在机器人导航中，光流可以用于估计机器人的运动状态和环境结构。在视频监控中，光流可以用于检测异常行为和跟踪目标。

📄 摘要（原文）

Collecting real-world optical flow datasets is a formidable challenge due to the high cost of labeling. A shortage of datasets significantly constrains the real-world performance of optical flow models. Building virtual datasets that resemble real scenarios offers a potential solution for performance enhancement, yet a domain gap separates virtual and real datasets. This paper introduces FlowDA, an unsupervised domain adaptive (UDA) framework for optical flow estimation. FlowDA employs a UDA architecture based on mean-teacher and integrates concepts and techniques in unsupervised optical flow estimation. Furthermore, an Adaptive Curriculum Weighting (ACW) module based on curriculum learning is proposed to enhance the training effectiveness. Experimental outcomes demonstrate that our FlowDA outperforms state-of-the-art unsupervised optical flow estimation method SMURF by 21.6%, real optical flow dataset generation method MPI-Flow by 27.8%, and optical flow estimation adaptive method FlowSupervisor by 30.9%, offering novel insights for enhancing the performance of optical flow estimation in real-world scenarios. The code will be open-sourced after the publication of this paper.