RSMamba: Remote Sensing Image Classification with State Space Model

📄 arXiv: 2403.19654v1 📥 PDF

作者: Keyan Chen, Bowen Chen, Chenyang Liu, Wenyuan Li, Zhengxia Zou, Zhenwei Shi

分类: cs.CV

发布日期: 2024-03-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出RSMamba以解决遥感图像分类的复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像分类 状态空间模型 动态多路径激活 卷积神经网络 变换器 图像理解 深度学习

📋 核心要点

  1. 遥感图像分类面临复杂场景和时空分辨率变化的挑战，现有方法难以有效处理这些问题。
  2. RSMamba基于状态空间模型，采用动态多路径激活机制，增强了对非因果数据的建模能力。
  3. RSMamba在多个遥感图像分类数据集上表现优异，相较于传统方法有显著性能提升。

📝 摘要（中文）

遥感图像分类是遥感图像理解任务的基础，对图像解释至关重要。尽管卷积神经网络和变换器的进步显著提高了分类准确性，但遥感场景分类仍面临挑战，尤其是在复杂多样的遥感场景和时空分辨率变化的情况下。本文提出RSMamba，一种基于状态空间模型的新架构，结合了高效的硬件感知设计，增强了对二维图像数据的建模能力。RSMamba在多个遥感图像分类数据集上表现出色，显示出作为未来视觉基础模型骨干的潜力。

🔬 方法详解

问题定义：本文旨在解决遥感图像分类中的复杂性和多样性问题，现有方法在处理复杂场景和时空分辨率变化时表现不足。

核心思路：RSMamba通过引入状态空间模型和动态多路径激活机制，增强了对二维图像数据的建模能力，克服了传统Mamba模型的局限性。

技术框架：RSMamba的整体架构包括输入层、状态空间建模模块和输出层，结合了全局感受野和线性建模复杂度，确保高效的图像分类。

关键创新：RSMamba的动态多路径激活机制是其核心创新，允许模型处理非因果数据，显著提升了分类性能。

关键设计：模型设计中采用了特定的损失函数和网络结构，以优化分类效果，同时考虑了硬件的高效性。具体参数设置和网络结构细节将在代码中提供。

📊 实验亮点

RSMamba在多个遥感图像分类数据集上表现优异，相较于传统方法，分类准确率提升了显著幅度，具体性能数据将在实验部分详细列出，显示出其作为未来视觉模型骨干的潜力。

🎯 应用场景

RSMamba在遥感图像分类领域具有广泛的应用潜力，能够为环境监测、城市规划和农业管理等领域提供更精准的图像理解和分析。其高效的设计也为未来的视觉基础模型奠定了基础，推动相关技术的发展。

📄 摘要（原文）

Remote sensing image classification forms the foundation of various understanding tasks, serving a crucial function in remote sensing image interpretation. The recent advancements of Convolutional Neural Networks (CNNs) and Transformers have markedly enhanced classification accuracy. Nonetheless, remote sensing scene classification remains a significant challenge, especially given the complexity and diversity of remote sensing scenarios and the variability of spatiotemporal resolutions. The capacity for whole-image understanding can provide more precise semantic cues for scene discrimination. In this paper, we introduce RSMamba, a novel architecture for remote sensing image classification. RSMamba is based on the State Space Model (SSM) and incorporates an efficient, hardware-aware design known as the Mamba. It integrates the advantages of both a global receptive field and linear modeling complexity. To overcome the limitation of the vanilla Mamba, which can only model causal sequences and is not adaptable to two-dimensional image data, we propose a dynamic multi-path activation mechanism to augment Mamba's capacity to model non-causal data. Notably, RSMamba maintains the inherent modeling mechanism of the vanilla Mamba, yet exhibits superior performance across multiple remote sensing image classification datasets. This indicates that RSMamba holds significant potential to function as the backbone of future visual foundation models. The code will be available at \url{https://github.com/KyanChen/RSMamba}.