FusionMamba: Efficient Remote Sensing Image Fusion with State Space Model

📄 arXiv: 2404.07932v3 📥 PDF

作者: Siran Peng, Xiangyu Zhu, Haoyu Deng, Liang-Jian Deng, Zhen Lei

分类: cs.CV, eess.IV

发布日期: 2024-04-11 (更新: 2024-11-17)

备注: Published in: IEEE Transactions on Geoscience and Remote Sensing (Early Access)

DOI: 10.1109/TGRS.2024.3496073

🔗 代码/项目: GITHUB

💡 一句话要点

提出FusionMamba以解决遥感图像融合效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 遥感图像融合 状态空间模型 深度学习 特征提取 信息整合 卷积神经网络 变换器

📋 核心要点

  1. 现有的深度学习方法在遥感图像融合中面临全局上下文捕捉能力不足和计算复杂度高的挑战。
  2. FusionMamba通过扩展Mamba块以支持双输入，结合空间和光谱特征，提供了一种高效的信息整合解决方案。
  3. 在六个数据集上的定量和定性评估结果显示，FusionMamba达到了最先进的性能，显著提升了遥感图像融合的效果。

📝 摘要（中文）

遥感图像融合旨在通过结合高分辨率图像与有限光谱数据和低分辨率图像生成高分辨率的多/超光谱图像。现有的深度学习方法通常采用卷积神经网络（CNN）或变换器进行特征提取和信息整合。尽管CNN高效，但其有限的感受野限制了其捕捉全局上下文的能力；而变换器虽然擅长学习全局信息，但计算开销较大。本文提出FusionMamba，一种高效的遥感图像融合方法，利用状态空间模型（SSM）实现低复杂度的全局感知。我们扩展了Mamba块以支持双输入，并设计了适用于遥感图像融合的可解释网络架构。实验结果表明，FusionMamba在六个数据集上实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决遥感图像融合中的信息整合效率问题。现有方法如CNN和变换器在全局上下文捕捉和计算复杂度上存在不足，导致融合效果不理想。

核心思路：FusionMamba的核心思路是利用状态空间模型（SSM）实现低复杂度的全局感知，通过扩展Mamba块以支持双输入，来有效融合空间和光谱特征。

技术框架：整体架构包括两个U型网络分支，分别由四个方向的Mamba块组成，用于分层提取空间和光谱特征。融合后的特征图在一个辅助网络分支中通过FusionMamba块进行合并。

关键创新：FusionMamba的主要创新在于扩展了Mamba块以支持双输入，形成了可插拔的信息整合模块，显著提高了遥感图像融合的效率和效果。

关键设计：设计中采用了增强的通道注意力模块，以改善光谱信息的表示，网络结构经过优化以适应遥感图像的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个数据集上的实验结果表明，FusionMamba在遥感图像融合任务中实现了最先进的性能，相较于基线方法，性能提升幅度显著，具体数据未详述，但表明其在定量和定性评估中均表现优异。

🎯 应用场景

该研究的潜在应用领域包括遥感监测、环境变化检测、农业监测等。FusionMamba的高效融合能力能够为实际应用提供更高质量的图像数据，提升决策支持的准确性和及时性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Remote sensing image fusion aims to generate a high-resolution multi/hyper-spectral image by combining a high-resolution image with limited spectral data and a low-resolution image rich in spectral information. Current deep learning (DL) methods typically employ convolutional neural networks (CNNs) or Transformers for feature extraction and information integration. While CNNs are efficient, their limited receptive fields restrict their ability to capture global context. Transformers excel at learning global information but are computationally expensive. Recent advancements in the state space model (SSM), particularly Mamba, present a promising alternative by enabling global perception with low complexity. However, the potential of SSM for information integration remains largely unexplored. Therefore, we propose FusionMamba, an innovative method for efficient remote sensing image fusion. Our contributions are twofold. First, to effectively merge spatial and spectral features, we expand the single-input Mamba block to accommodate dual inputs, creating the FusionMamba block, which serves as a plug-and-play solution for information integration. Second, we incorporate Mamba and FusionMamba blocks into an interpretable network architecture tailored for remote sensing image fusion. Our designs utilize two U-shaped network branches, each primarily composed of four-directional Mamba blocks, to extract spatial and spectral features separately and hierarchically. The resulting feature maps are sufficiently merged in an auxiliary network branch constructed with FusionMamba blocks. Furthermore, we improve the representation of spectral information through an enhanced channel attention module. Quantitative and qualitative valuation results across six datasets demonstrate that our method achieves SOTA performance. The code is available at https://github.com/PSRben/FusionMamba.