YOIO: You Only Iterate Once by mining and fusing multiple necessary global information in the optical flow estimation

📄 arXiv: 2401.05879v1 📥 PDF

作者: Yu Jing, Tan Yujuan, Ren Ao, Liu Duo

分类: cs.CV

发布日期: 2024-01-11

备注: arXiv admin note: text overlap with arXiv:2104.02409 by other authors

💡 一句话要点

提出YOIO框架以解决光流估计中的遮挡问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 光流估计 遮挡处理 时空信息 深度学习 实时计算 运动估计 YOIO框架

📋 核心要点

  1. 现有光流估计算法在处理遮挡现象时面临重大挑战，尤其是仅依赖当前帧作为输入时，无法提供准确的全局参考信息。
  2. 本文提出YOIO框架，通过设计回环判断算法和多重全局信息提取模块，充分利用时空信息以提高光流估计的精度和效率。
  3. 实验结果显示，YOIO在遮挡区域的光流预测精度提高超过10%，计算时间缩短27%，在Sintel数据集上实现了新的实时状态最优结果。

📝 摘要（中文）

遮挡现象对光流算法构成了重大挑战，尤其是在仅依赖全局信息的情况下。本文将遮挡点定义为在参考帧中存在但在下一帧中缺失的点，估计这些点的运动非常困难。现有方法仅使用当前帧作为输入，无法提供正确的全局参考信息，导致计算时间长且精度低。为提高精度和效率，本文充分挖掘和利用帧对提供的时空信息，设计了回环判断算法以确保获取正确的全局参考信息，并提出了YOIO框架，包含初始流估计器、多重全局信息提取模块和统一的精炼模块。实验表明，该方法在遮挡区域的光流估计精度提高超过10%，计算时间缩短27%，在Sintel数据集上取得了新的实时状态最优结果。

🔬 方法详解

问题定义：本文旨在解决光流估计中遮挡点的运动估计问题。现有方法仅依赖当前帧，无法提供遮挡点的全局参考信息，导致计算时间长且精度低。

核心思路：通过设计YOIO框架，充分挖掘帧对的时空信息，结合回环判断算法，确保获取正确的全局参考信息，从而提高光流估计的精度和效率。

技术框架：YOIO框架由三个主要模块组成：初始流估计器、多重全局信息提取模块和统一的精炼模块。初始流估计器负责初步估计光流，提取模块挖掘必要的全局信息，精炼模块则融合这些信息以优化结果。

关键创新：YOIO框架的核心创新在于通过回环判断算法确保全局参考信息的准确性，并通过多重信息提取和融合实现高效的光流估计。这与传统方法的单一输入方式形成了显著对比。

关键设计：在设计中，采用了特定的损失函数来优化光流估计的精度，网络结构经过精心调整以适应多重信息的融合，确保在遮挡区域的表现显著提升。通过这些设计，YOIO框架在计算效率和准确性上均取得了突破。

📊 实验亮点

YOIO框架在遮挡区域的光流预测精度提高超过10%，而在更严重的遮挡区域提升幅度超过15%。此外，该方法的计算时间缩短27%，在Sintel数据集上实现了18.9fps的实时性能，展示了其在光流估计中的优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、视频监控、虚拟现实等需要实时光流估计的场景。YOIO框架的高效性和准确性将为这些领域提供更可靠的运动分析工具，推动相关技术的发展和应用。

📄 摘要（原文）

Occlusions pose a significant challenge to optical flow algorithms that even rely on global evidences. We consider an occluded point to be one that is imaged in the reference frame but not in the next. Estimating the motion of these points is extremely difficult, particularly in the two-frame setting. Previous work only used the current frame as the only input, which could not guarantee providing correct global reference information for occluded points, and had problems such as long calculation time and poor accuracy in predicting optical flow at occluded points. To enable both high accuracy and efficiency, We fully mine and utilize the spatiotemporal information provided by the frame pair, design a loopback judgment algorithm to ensure that correct global reference information is obtained, mine multiple necessary global information, and design an efficient refinement module that fuses these global information. Specifically, we propose a YOIO framework, which consists of three main components: an initial flow estimator, a multiple global information extraction module, and a unified refinement module. We demonstrate that optical flow estimates in the occluded regions can be significantly improved in only one iteration without damaging the performance in non-occluded regions. Compared with GMA, the optical flow prediction accuracy of this method in the occluded area is improved by more than 10%, and the occ_out area exceeds 15%, while the calculation time is 27% shorter. This approach, running up to 18.9fps with 436*1024 image resolution, obtains new state-of-the-art results on the challenging Sintel dataset among all published and unpublished approaches that can run in real-time, suggesting a new paradigm for accurate and efficient optical flow estimation.