HDRFlow: Real-Time HDR Video Reconstruction with Large Motions

📄 arXiv: 2403.03447v1 📥 PDF

作者: Gangwei Xu, Yujin Wang, Jinwei Gu, Tianfan Xue, Xin Yang

分类: cs.CV

发布日期: 2024-03-06

备注: CVPR 2024; Project website: https://openimaginglab.github.io/HDRFlow/

💡 一句话要点

提出HDRFlow以解决大运动下的实时HDR视频重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高动态范围 视频重建 光流估计 实时处理 计算机视觉 深度学习 图像对齐

📋 核心要点

  1. 现有方法在处理大幅运动时表现不佳，且计算成本高，难以实现实时HDR视频重建。
  2. 本文提出HDRFlow，通过HDR域对齐损失、有效的光流网络和新的训练方案，提升了大运动下的对齐精度。
  3. 实验结果显示，HDRFlow在标准基准测试中优于以往方法，能够实现720p分辨率下的实时处理。

📝 摘要（中文）

从交替曝光的图像序列中重建高动态范围（HDR）视频是一项具有挑战性的任务，尤其是在存在大幅相机或物体运动的情况下。现有方法通常使用光流或注意力机制对低动态范围序列进行对齐以消除重影，但在处理复杂大运动时往往表现不佳且计算成本高。为了解决这些挑战，本文提出了一种针对实时HDR视频重建的稳健高效的光流估计器HDRFlow。HDRFlow具有三项新设计：HDR域对齐损失（HALoss）、具有多尺寸大卷积核的高效光流网络（MLK）以及新的HDR光流训练方案。实验结果表明，HDRFlow在标准基准测试中超越了以往方法，能够以25毫秒处理720p分辨率的输入。

🔬 方法详解

问题定义：本文旨在解决从交替曝光图像序列中重建HDR视频时，因大幅相机或物体运动导致的对齐困难和重影问题。现有方法在复杂运动场景下效果不佳，且计算开销较大。

核心思路：论文提出HDRFlow，通过设计HDR域对齐损失、有效的光流网络和新的训练方案，旨在提高大运动场景下的对齐精度和处理效率。这样的设计使得模型能够更好地处理饱和和暗区的对齐问题。

技术框架：HDRFlow的整体架构包括三个主要模块：光流估计模块、HDR域对齐损失模块和训练数据增强模块。光流估计模块负责估计图像序列中的光流，HDR域对齐损失模块用于优化光流的准确性，而训练数据增强模块则利用合成数据提升模型的泛化能力。

关键创新：HDRFlow的主要创新在于引入了HDR域对齐损失（HALoss），使得光流网络能够学习到HDR导向的光流，从而在饱和和暗区实现更准确的对齐。此外，采用多尺寸大卷积核的光流网络（MLK）有效建模大运动，显著降低计算成本。

关键设计：在关键设计方面，HALoss作为损失函数，专注于HDR图像的特性，确保光流估计的准确性；MLK通过多尺寸卷积核处理大运动，提升了模型的灵活性和效率；同时，训练过程中结合了合成数据Sintel的前向和后向光流，增强了模型在大运动区域的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HDRFlow在标准基准测试中表现优异，尤其是在处理大运动场景时，相较于以往方法，HDRFlow在准确性和效率上均有显著提升，能够以25毫秒处理720p分辨率的输入，展示了其在实时HDR视频重建中的潜力。

🎯 应用场景

该研究的潜在应用领域包括影视制作、实时视频监控和虚拟现实等场景，能够显著提升视频质量和用户体验。HDRFlow的实时处理能力使其在需要高质量视频重建的应用中具有重要价值，未来可能推动相关技术的广泛应用与发展。

📄 摘要（原文）

Reconstructing High Dynamic Range (HDR) video from image sequences captured with alternating exposures is challenging, especially in the presence of large camera or object motion. Existing methods typically align low dynamic range sequences using optical flow or attention mechanism for deghosting. However, they often struggle to handle large complex motions and are computationally expensive. To address these challenges, we propose a robust and efficient flow estimator tailored for real-time HDR video reconstruction, named HDRFlow. HDRFlow has three novel designs: an HDR-domain alignment loss (HALoss), an efficient flow network with a multi-size large kernel (MLK), and a new HDR flow training scheme. The HALoss supervises our flow network to learn an HDR-oriented flow for accurate alignment in saturated and dark regions. The MLK can effectively model large motions at a negligible cost. In addition, we incorporate synthetic data, Sintel, into our training dataset, utilizing both its provided forward flow and backward flow generated by us to supervise our flow network, enhancing our performance in large motion regions. Extensive experiments demonstrate that our HDRFlow outperforms previous methods on standard benchmarks. To the best of our knowledge, HDRFlow is the first real-time HDR video reconstruction method for video sequences captured with alternating exposures, capable of processing 720p resolution inputs at 25ms.