CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration

📄 arXiv: 2603.02560v1 📥 PDF

作者: Huichun Liu, Xiaosong Li, Zhuangfan Huang, Tao Ye, Yang Liu, Haishu Tan

分类: cs.CV

发布日期: 2026-03-03

🔗 代码/项目: GITHUB

💡 一句话要点

提出CAWM-Mamba，用于红外-可见光图像融合和复杂恶劣天气恢复的统一模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像融合 恶劣天气恢复 多模态学习 红外-可见光图像 Mamba 小波变换 复合天气

📋 核心要点

  1. 现有恶劣天气图像融合方法难以处理多种天气因素叠加的情况，泛化能力不足。
  2. CAWM-Mamba通过天气感知预处理、跨模态特征交互和小波空间状态块，实现图像融合和天气恢复。
  3. 实验表明，CAWM-Mamba在多种天气条件下均优于现有方法，并在下游任务中表现出色。

📝 摘要（中文）

多模态图像融合（MMIF）整合来自不同模态的互补信息，以生成更清晰、信息更丰富的融合图像。在恶劣天气下的MMIF在自动驾驶和无人机监控应用中尤为重要。然而，现有的恶劣天气融合方法通常只处理单一类型的退化，如雾霾、雨或雪，并且在多种退化共存时（例如，雾霾+雨，雨+雪）失效。为了解决这个挑战，我们提出了Compound Adverse Weather Mamba (CAWM-Mamba)，这是第一个端到端框架，它使用统一的共享权重联合执行图像融合和复合天气恢复。我们的网络包含三个关键组件：（1）天气感知预处理模块（WAPM），用于增强降级的可见光特征并提取全局天气嵌入；（2）跨模态特征交互模块（CFIM），用于促进异构模态的对齐和跨模态的互补特征交换；（3）小波空间状态块（WSSB），它利用小波域分解来解耦多频退化。WSSB包括Freq-SSM，一个以无冗余方式建模各向异性高频退化的模块，以及一个统一的退化表示机制，以进一步提高在复杂复合天气条件下的泛化能力。在AWMM-100K基准和三个标准融合数据集上的大量实验表明，CAWM-Mamba在复合和单一天气场景中始终优于最先进的方法。此外，我们的融合结果在涵盖语义分割和目标检测的下游任务中表现出色，证实了在现实世界恶劣天气感知中的实际价值。源代码将在https://github.com/Feecuin/CAWM-Mamba上提供。

🔬 方法详解

问题定义：现有恶劣天气图像融合方法通常只能处理单一类型的退化（如雾霾、雨或雪），当多种退化同时存在时，性能会显著下降。这些方法缺乏对复杂复合天气条件的有效建模和泛化能力，难以满足自动驾驶和无人机监控等实际应用的需求。

核心思路：CAWM-Mamba的核心思路是构建一个统一的端到端框架，同时执行图像融合和复合天气恢复。通过引入天气感知预处理模块、跨模态特征交互模块和小波空间状态块，该模型能够有效地提取和对齐不同模态的特征，并解耦多频退化，从而提高在复杂天气条件下的融合和恢复性能。

技术框架：CAWM-Mamba的网络架构主要包含三个核心模块：1) 天气感知预处理模块 (WAPM)：用于增强降级的可见光图像特征，并提取全局天气嵌入，为后续的融合和恢复提供天气上下文信息。2) 跨模态特征交互模块 (CFIM)：用于对齐红外和可见光图像的异构模态特征，并促进跨模态的互补特征交换，从而实现更全面的信息融合。3) 小波空间状态块 (WSSB)：利用小波域分解将图像分解为不同频率的子带，并使用Freq-SSM模块建模各向异性高频退化，从而更有效地去除噪声和恢复图像细节。

关键创新：CAWM-Mamba的关键创新在于以下几个方面：1) 统一的端到端框架：首次将图像融合和复合天气恢复整合到一个统一的模型中，避免了传统方法中需要分别处理融合和恢复的复杂流程。2) 小波空间状态块 (WSSB)：通过小波域分解和Freq-SSM模块，能够更有效地解耦和处理多频退化，从而提高图像恢复的质量。3) 统一的退化表示机制：通过学习全局天气嵌入，能够更好地泛化到不同的复合天气条件，提高模型的鲁棒性。

关键设计：WAPM模块可能包含卷积层、激活函数和注意力机制，用于提取天气相关的特征。CFIM模块可能采用交叉注意力机制或Transformer结构，以实现跨模态的特征对齐和交互。WSSB模块中的Freq-SSM模块可能基于Mamba架构，用于建模序列数据中的依赖关系。损失函数可能包括L1损失、L2损失、感知损失和对抗损失等，用于优化图像融合和恢复的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CAWM-Mamba在AWMM-100K基准和三个标准融合数据集上进行了广泛的实验，结果表明该模型在复合和单一天气场景中均优于现有的最先进方法。此外，融合后的图像在语义分割和目标检测等下游任务中表现出色，验证了该模型在实际应用中的价值。具体性能提升数据未知，但摘要强调了“consistently outperforms state-of-the-art methods”。

🎯 应用场景

CAWM-Mamba在自动驾驶、无人机监控、智能交通等领域具有广泛的应用前景。该模型能够有效提升恶劣天气下的图像感知能力，提高系统的安全性和可靠性。例如，在自动驾驶中，CAWM-Mamba可以帮助车辆在雨、雪、雾霾等天气条件下准确识别道路、行人和其他车辆，从而避免交通事故。此外，该模型还可以应用于遥感图像处理、医学图像分析等领域。

📄 摘要（原文）

Multimodal Image Fusion (MMIF) integrates complementary information from various modalities to produce clearer and more informative fused images. MMIF under adverse weather is particularly crucial in autonomous driving and UAV monitoring applications. However, existing adverse weather fusion methods generally only tackle single types of degradation such as haze, rain, or snow, and fail when multiple degradations coexist (e.g., haze+rain, rain+snow). To address this challenge, we propose Compound Adverse Weather Mamba (CAWM-Mamba), the first end-to-end framework that jointly performs image fusion and compound weather restoration with unified shared weights. Our network contains three key components: (1) a Weather-Aware Preprocess Module (WAPM) to enhance degraded visible features and extracts global weather embeddings; (2) a Cross-modal Feature Interaction Module (CFIM) to facilitate the alignment of heterogeneous modalities and exchange of complementary features across modalities; and (3) a Wavelet Space State Block (WSSB) that leverages wavelet-domain decomposition to decouple multi-frequency degradations. WSSB includes Freq-SSM, a module that models anisotropic high-frequency degradation without redundancy, and a unified degradation representation mechanism to further improve generalization across complex compound weather conditions. Extensive experiments on the AWMM-100K benchmark and three standard fusion datasets demonstrate that CAWM-Mamba consistently outperforms state-of-the-art methods in both compound and single-weather scenarios. In addition, our fusion results excel in downstream tasks covering semantic segmentation and object detection, confirming the practical value in real-world adverse weather perception. The source code will be available at https://github.com/Feecuin/CAWM-Mamba.