U-shaped Vision Mamba for Single Image Dehazing

📄 arXiv: 2402.04139v4 📥 PDF

作者: Zhuoran Zheng, Chen Wu

分类: cs.CV

发布日期: 2024-02-06 (更新: 2024-02-16)

🔗 代码/项目: GITHUB

💡 一句话要点

提出U-shaped Vision Mamba以解决单幅图像去雾问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像去雾 深度学习 状态空间模型 卷积神经网络 长距离依赖 高效推理 图像恢复

📋 核心要点

  1. 现有的图像去雾方法多基于Transformer架构，但其计算复杂度高，难以在资源受限设备上有效运行。
  2. 本文提出的UVM-Net通过引入Bi-SSM模块，结合卷积层和状态空间模型的优点，有效处理长距离依赖问题。
  3. 实验结果显示，UVM-Net在去雾任务中表现优异，推理速度达到100FPS，显著提升了处理效率。

📝 摘要（中文）

目前，Transformer是图像去雾领域最流行的架构，但由于其计算复杂度较高，导致在资源受限设备上处理长距离依赖的能力有限。为了解决这一挑战，本文提出了一种高效的单幅图像去雾网络——U-shaped Vision Mamba (UVM-Net)。该网络受到状态空间序列模型（SSMs）的启发，设计了一个Bi-SSM模块，结合了卷积层的局部特征提取能力和SSM捕捉长距离依赖的能力。大量实验结果表明，所提方法在图像去雾及其他图像恢复任务中具有更高的效率。该方法在推理325×325分辨率图像时仅需0.009秒（100FPS），不包括I/O处理时间。

🔬 方法详解

问题定义：本文旨在解决单幅图像去雾中的长距离依赖建模问题。现有方法在处理复杂场景时，往往因计算复杂度高而无法有效应用于资源受限的设备上。

核心思路：论文提出的UVM-Net通过设计Bi-SSM模块，融合了卷积层的局部特征提取能力与SSM的长距离依赖捕捉能力，从而提高了去雾效果和处理效率。

技术框架：UVM-Net的整体架构包括输入层、Bi-SSM模块和输出层。Bi-SSM模块负责特征提取和长距离依赖建模，确保网络在处理图像时能够同时关注局部和全局信息。

关键创新：最重要的技术创新在于Bi-SSM模块的设计，它有效地结合了卷积神经网络和状态空间模型的优势，显著提升了去雾效果和计算效率。

关键设计：在网络结构上，UVM-Net采用了多层卷积和Bi-SSM模块的组合，损失函数设计为结合了重建损失和感知损失，以优化图像质量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，UVM-Net在处理325×325分辨率图像时，推理速度达到100FPS，仅需0.009秒，显著优于现有方法。这一性能提升使得其在实时图像处理应用中具有广泛的前景。

🎯 应用场景

该研究的潜在应用领域包括无人驾驶、遥感图像处理和监控视频分析等。通过提高图像去雾的效率和效果，UVM-Net能够在实际场景中提供更清晰的视觉信息，增强自动化系统的可靠性和安全性。

📄 摘要（原文）

Currently, Transformer is the most popular architecture for image dehazing, but due to its large computational complexity, its ability to handle long-range dependency is limited on resource-constrained devices. To tackle this challenge, we introduce the U-shaped Vision Mamba (UVM-Net), an efficient single-image dehazing network. Inspired by the State Space Sequence Models (SSMs), a new deep sequence model known for its power to handle long sequences, we design a Bi-SSM block that integrates the local feature extraction ability of the convolutional layer with the ability of the SSM to capture long-range dependencies. Extensive experimental results demonstrate the effectiveness of our method. Our method provides a more highly efficient idea of long-range dependency modeling for image dehazing as well as other image restoration tasks. The URL of the code is \url{https://github.com/zzr-idam/UVM-Net}. Our method takes only \textbf{0.009} seconds to infer a $325 \times 325$ resolution image (100FPS) without I/O handling time.