CCMR: High Resolution Optical Flow Estimation via Coarse-to-Fine Context-Guided Motion Reasoning

📄 arXiv: 2311.02661v1 📥 PDF

作者: Azin Jahedi, Maximilian Luz, Marc Rivinius, Andrés Bruhn

分类: cs.CV

发布日期: 2023-11-05

备注: WACV 2024

💡 一句话要点

提出CCMR以解决高分辨率光流估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光流估计 多尺度学习 注意力机制 遮挡处理 计算机视觉 深度学习 自动驾驶

📋 核心要点

  1. 现有的光流估计方法在处理遮挡区域时效果不佳，且多为粗分辨率单尺度方法，无法提供高分辨率的细节。
  2. 本文提出的CCMR方法通过分层的两步注意力机制，结合多尺度上下文特征，提升了光流估计的精度和细节。
  3. 实验结果显示，CCMR在KITTI 2015上排名第一，在MPI Sintel Clean和Final上排名第二，性能提升显著，分别达到23.0%和21.6%。

📝 摘要（中文）

近年来，基于注意力的运动聚合概念在光流估计中显示出其在处理遮挡区域方面的有效性。然而，由于其复杂性，这些方法主要局限于粗分辨率的单尺度方法，无法提供高分辨率多尺度网络的详细结果。本文提出了CCMR：一种高分辨率的粗到细方法，利用基于注意力的运动分组概念进行多尺度光流估计。CCMR依赖于分层的两步注意力上下文-运动分组策略，首先计算全局多尺度上下文特征，然后利用这些特征指导实际的运动分组。实验结果表明，CCMR在遮挡和非遮挡区域均显著提升了光流场的细节，超越了现有的单尺度和多尺度基线，达到了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决高分辨率光流估计中的遮挡处理问题，现有方法多为粗分辨率单尺度，难以提供细致的光流场。

核心思路：CCMR方法通过分层的两步注意力机制，首先提取全局多尺度上下文特征，然后利用这些特征指导运动分组，从而实现高分辨率的光流估计。

技术框架：CCMR的整体架构包括两个主要阶段：第一阶段计算全局多尺度上下文特征，第二阶段基于这些特征进行运动分组。两者交替进行，形成粗到细的估计过程。

关键创新：CCMR的创新在于结合了多尺度和基于注意力的运动聚合策略，显著提升了光流估计的细节和准确性，尤其是在遮挡区域。

关键设计：在设计中，采用了交叉协方差图像变换器，以高效实现多尺度特征提取，同时保持尺度相关性，损失函数和网络结构经过精心调整，以优化光流估计的性能。

🖼️ 关键图片

img_0

📊 实验亮点

CCMR在KITTI 2015数据集上取得了第一名的成绩，在MPI Sintel Clean和Final数据集上分别获得第二名，性能提升幅度分别达到23.0%和21.6%。这些结果表明，CCMR在处理遮挡和非遮挡区域时均表现出色，具有显著的实际应用价值。

🎯 应用场景

该研究在自动驾驶、视频监控和增强现实等领域具有广泛的应用潜力。高分辨率的光流估计能够提升运动分析的准确性，为实时系统提供更可靠的支持，进而推动相关技术的发展与应用。

📄 摘要（原文）

Attention-based motion aggregation concepts have recently shown their usefulness in optical flow estimation, in particular when it comes to handling occluded regions. However, due to their complexity, such concepts have been mainly restricted to coarse-resolution single-scale approaches that fail to provide the detailed outcome of high-resolution multi-scale networks. In this paper, we hence propose CCMR: a high-resolution coarse-to-fine approach that leverages attention-based motion grouping concepts to multi-scale optical flow estimation. CCMR relies on a hierarchical two-step attention-based context-motion grouping strategy that first computes global multi-scale context features and then uses them to guide the actual motion grouping. As we iterate both steps over all coarse-to-fine scales, we adapt cross covariance image transformers to allow for an efficient realization while maintaining scale-dependent properties. Experiments and ablations demonstrate that our efforts of combining multi-scale and attention-based concepts pay off. By providing highly detailed flow fields with strong improvements in both occluded and non-occluded regions, our CCMR approach not only outperforms both the corresponding single-scale attention-based and multi-scale attention-free baselines by up to 23.0% and 21.6%, respectively, it also achieves state-of-the-art results, ranking first on KITTI 2015 and second on MPI Sintel Clean and Final. Code and trained models are available at https://github.com/cv-stuttgart /CCMR.