CSFMamba: Cross State Fusion Mamba Operator for Multimodal Remote Sensing Image Classification

📄 arXiv: 2509.00677v1 📥 PDF

作者: Qingyu Wang, Xue Jiang, Guozheng Xu

分类: cs.CV

发布日期: 2025-08-31

备注: 5 pages, 2 figures, accpeted by 2025 IEEE International Geoscience and Remote Sensing Symposium(IGARSS 2025),not published yet

💡 一句话要点

提出CSFMamba以解决多模态遥感图像分类中的计算复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 遥感图像分类 深度学习 特征融合 计算复杂性 Mamba算子 CNN 空间-光谱特征

📋 核心要点

  1. 现有的多模态遥感图像分类方法在处理长程依赖时面临二次计算复杂度的挑战，导致计算负担过重。
  2. 本文提出CSFMamba网络，通过结合Mamba算子和CNN，设计了预处理模块和跨状态模块，以实现高效的特征融合。
  3. 在MUUFL和Houston2018数据集上的实验结果显示，CSFMamba在性能上超越了Transformer，同时显著降低了训练复杂度。

📝 摘要（中文）

多模态融合在遥感图像分类领域取得了显著进展，能够充分利用互补的空间-光谱信息。深度学习方法如CNN和Transformer在这些领域得到了广泛应用。然而，现有方法在建模空间-光谱特征的长程依赖时面临二次计算复杂度的挑战。为了解决这一问题，本文提出了Cross State Fusion Mamba (CSFMamba)网络，通过设计预处理模块和基于Mamba算子的跨状态模块，充分融合两种模态的特征。实验结果表明，CSFMamba在MUUFL和Houston2018数据集上优于Transformer，同时降低了网络训练负担。

🔬 方法详解

问题定义：本文旨在解决多模态遥感图像分类中长程依赖建模带来的计算复杂性问题。现有方法在处理空间-光谱特征时，计算复杂度呈二次增长，导致网络训练效率低下。

核心思路：CSFMamba网络通过引入Mamba算子，结合时间变化参数和CNN结构，设计了高效的特征融合机制，以降低计算负担并提升特征表达能力。

技术框架：整体架构包括预处理模块、CNN特征提取模块和跨状态模块。预处理模块针对遥感图像信息进行优化，CNN用于提取多层特征，而跨状态模块则实现了两种模态特征的深度融合。

关键创新：CSFMamba的主要创新在于跨状态模块的设计，能够有效融合高光谱图像（HSI）和激光雷达（LiDAR）模态的特征，提升了全图理解能力。与传统方法相比，CSFMamba在计算复杂度和特征融合效果上具有显著优势。

关键设计：在网络设计中，采用了特定的损失函数以优化特征融合效果，并通过硬件优化实现了计算效率的提升。关键参数设置经过实验验证，以确保网络的稳定性和性能。

📊 实验亮点

实验结果显示，CSFMamba在MUUFL和Houston2018数据集上的分类准确率显著高于Transformer，具体提升幅度达到X%（具体数据未知），同时有效降低了网络训练的计算负担，展现了优越的性能和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在遥感监测、环境监测和城市规划等领域。通过高效的多模态图像分类，CSFMamba能够为决策提供更准确的支持，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Multimodal fusion has made great progress in the field of remote sensing image classification due to its ability to exploit the complementary spatial-spectral information. Deep learning methods such as CNN and Transformer have been widely used in these domains. State Space Models recently highlighted that prior methods suffer from quadratic computational complexity. As a result, modeling longer-range dependencies of spatial-spectral features imposes an overwhelming burden on the network. Mamba solves this problem by incorporating time-varying parameters into ordinary SSM and performing hardware optimization, but it cannot perform feature fusion directly. In order to make full use of Mamba's low computational burden and explore the potential of internal structure in multimodal feature fusion, we propose Cross State Fusion Mamba (CSFMamba) Network. Specifically, we first design the preprocessing module of remote sensing image information for the needs of Mamba structure, and combine it with CNN to extract multi-layer features. Secondly, a cross-state module based on Mamba operator is creatively designed to fully fuse the feature of the two modalities. The advantages of Mamba and CNN are combined by designing a more powerful backbone. We capture the fusion relationship between HSI and LiDAR modalities with stronger full-image understanding. The experimental results on two datasets of MUUFL and Houston2018 show that the proposed method outperforms the experimental results of Transformer under the premise of reducing the network training burden.