CFMW: Cross-modality Fusion Mamba for Robust Object Detection under Adverse Weather

📄 arXiv: 2404.16302v2 📥 PDF

作者: Haoyuan Li, Qi Hu, Binjia Zhou, You Yao, Jiacheng Lin, Kailun Yang, Peng Chen

分类: cs.CV, cs.MM, cs.RO, eess.IV

发布日期: 2024-04-25 (更新: 2025-07-08)

备注: Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT). The dataset and source code will be made publicly available at https://github.com/lhy-zjut/CFMW

🔗 代码/项目: GITHUB

💡 一句话要点

提出CFMW以解决恶劣天气下物体检测的鲁棒性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨模态融合 物体检测 恶劣天气 深度学习 数据集构建

📋 核心要点

  1. 现有物体检测方法在复杂天气条件下的鲁棒性不足，限制了其实际应用。
  2. 本文提出了CFMW，通过扰动自适应扩散模型和跨模态融合模块，增强了恶劣天气下的视觉特征重建能力。
  3. CFMW在多个数据集上表现出色，检测性能达到最先进水平，且速度是传统方法的三倍。

📝 摘要（中文）

可见光-红外图像对提供了互补信息，增强了物体检测在现实场景中的可靠性和鲁棒性。然而，现有方法在复杂天气条件下的鲁棒性不足，限制了其应用。同时，模态融合中对注意力机制的依赖导致了显著的计算复杂性和存储开销。为了解决这些挑战，本文提出了具有天气去除功能的跨模态融合Mamba（CFMW），以增强恶劣天气下的稳定性和成本效益。CFMW通过提出的扰动自适应扩散模型（PADM）和跨模态融合模块（CFM），能够重建受恶劣天气影响的视觉特征，丰富图像细节的表示。CFMW的架构设计高效，速度是Transformer风格融合（如CFT）的三倍。为填补相关数据集的空白，我们构建了新的严重天气可见光-红外（SWVI）数据集，包含多种恶劣天气场景，提供了未来研究的宝贵资源。大量实验表明，CFMW在公共数据集（如M3FD和LLVIP）及新构建的SWVI数据集上实现了最先进的检测性能。

🔬 方法详解

问题定义：本文旨在解决恶劣天气条件下物体检测的鲁棒性问题。现有方法在复杂天气（如雨、雾、雪）下表现不佳，导致检测性能下降。

核心思路：CFMW通过引入扰动自适应扩散模型（PADM）和跨模态融合模块（CFM），有效重建受天气影响的视觉特征，从而增强图像细节的表示能力。

技术框架：CFMW的整体架构包括两个主要模块：PADM用于处理和重建受干扰的图像特征，CFM则负责融合可见光和红外图像的信息。该框架设计旨在减少计算复杂性，提高处理速度。

关键创新：CFMW的核心创新在于其高效的模态融合策略，显著降低了计算和存储开销，与传统的注意力机制方法相比，提升了处理速度和鲁棒性。

关键设计：CFMW采用了优化的网络结构，结合了特定的损失函数以增强特征重建的准确性，同时在参数设置上进行了精细调整，以适应高分辨率图像的处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CFMW在M3FD和LLVIP等公共数据集及新构建的SWVI数据集上均表现出色，检测性能达到最先进水平，且处理速度是传统Transformer风格融合方法的三倍，展现了显著的性能提升。

🎯 应用场景

CFMW的研究成果在自动驾驶、监控系统和无人机等领域具有广泛的应用潜力，尤其是在恶劣天气条件下的物体检测任务中。其高效的处理能力和鲁棒性将显著提升相关技术的实用性和可靠性，推动智能交通和安全监控的发展。

📄 摘要（原文）

Visible-infrared image pairs provide complementary information, enhancing the reliability and robustness of object detection applications in real-world scenarios. However, most existing methods face challenges in maintaining robustness under complex weather conditions, which limits their applicability. Meanwhile, the reliance on attention mechanisms in modality fusion introduces significant computational complexity and storage overhead, particularly when dealing with high-resolution images. To address these challenges, we propose the Cross-modality Fusion Mamba with Weather-removal (CFMW) to augment stability and cost-effectiveness under adverse weather conditions. Leveraging the proposed Perturbation-Adaptive Diffusion Model (PADM) and Cross-modality Fusion Mamba (CFM) modules, CFMW is able to reconstruct visual features affected by adverse weather, enriching the representation of image details. With efficient architecture design, CFMW is 3 times faster than Transformer-style fusion (e.g., CFT). To bridge the gap in relevant datasets, we construct a new Severe Weather Visible-Infrared (SWVI) dataset, encompassing diverse adverse weather scenarios such as rain, haze, and snow. The dataset contains 64,281 paired visible-infrared images, providing a valuable resource for future research. Extensive experiments on public datasets (i.e., M3FD and LLVIP) and the newly constructed SWVI dataset conclusively demonstrate that CFMW achieves state-of-the-art detection performance. Both the dataset and source code will be made publicly available at https://github.com/lhy-zjut/CFMW.