S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

📄 arXiv: 2404.18213v2 📥 PDF

作者: Guanchun Wang, Xiangrong Zhang, Zelin Peng, Tianyang Zhang, Licheng Jiao

分类: cs.CV, cs.AI

发布日期: 2024-04-28 (更新: 2024-08-13)

备注: 12 pages, 7 figures

期刊: IEEE Transactions on Geoscience and Remote Sensing, 2025

DOI: 10.1109/TGRS.2025.3530993

🔗 代码/项目: GITHUB

💡 一句话要点

提出S$^2$Mamba以解决高光谱图像分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像 土地覆盖分析 状态空间模型 特征提取 深度学习 空间-光谱融合 机器学习

📋 核心要点

  1. 高光谱图像分类面临低空间分辨率和复杂光谱信息的挑战，现有基于Transformer的方法计算复杂度高，难以高效处理。
  2. S$^2$Mamba通过设计空间和光谱两个选择性结构状态空间模型，结合空间-光谱混合门，提升特征提取效率和分类准确性。
  3. 在多个高光谱图像分类基准上进行的实验表明，S$^2$Mamba相较于现有方法具有显著的性能提升，展示了其广阔的应用前景。

📝 摘要（中文）

高光谱图像（HSI）的土地覆盖分析仍然是一个开放问题，主要由于其低空间分辨率和复杂的光谱信息。近年来的研究主要集中在设计基于Transformer的架构来建模空间-光谱长程依赖关系，但计算复杂度为二次方。本文创新性地提出了S$^2$Mamba，一种用于高光谱图像分类的空间-光谱状态空间模型，旨在挖掘空间-光谱上下文特征，从而实现更高效和准确的土地覆盖分析。S$^2$Mamba通过不同维度设计了两个选择性结构状态空间模型进行特征提取，并引入空间-光谱混合门进行最优融合。大量实验表明，S$^2$Mamba在HSI分类基准测试中表现优越。

🔬 方法详解

问题定义：本文旨在解决高光谱图像分类中的空间和光谱信息处理问题，现有方法在处理长程依赖关系时计算复杂度高，导致效率低下。

核心思路：S$^2$Mamba通过设计两个选择性结构状态空间模型，分别针对空间和光谱特征进行提取，并利用空间-光谱混合门实现特征的最优融合，从而提高分类性能。

技术框架：S$^2$Mamba的整体架构包括Patch Cross Scanning模块用于捕捉空间上下文关系，以及Bi-directional Spectral Scanning模块用于提取光谱信息，最后通过空间-光谱混合门进行特征融合。

关键创新：S$^2$Mamba的主要创新在于引入了空间-光谱混合门，通过学习的矩阵自适应地结合不同维度的特征表示，显著提升了分类效果。

关键设计：模型中采用了选择性结构状态空间模型，设计了适应性强的混合门，具体参数设置和损失函数的选择未在摘要中详细说明，需参考后续文献。

📊 实验亮点

在高光谱图像分类基准测试中，S$^2$Mamba展示了显著的性能提升，相较于传统方法，分类准确率提高了XX%，并且在处理速度上也表现出更高的效率，验证了其优越性和应用前景。

🎯 应用场景

该研究在高光谱图像分类领域具有重要的应用潜力，能够有效支持土地覆盖监测、环境评估和农业管理等多个领域。通过提高分类精度，S$^2$Mamba有助于更好地理解和管理自然资源，推动智能城市和可持续发展目标的实现。

📄 摘要（原文）

Land cover analysis using hyperspectral images (HSI) remains an open problem due to their low spatial resolution and complex spectral information. Recent studies are primarily dedicated to designing Transformer-based architectures for spatial-spectral long-range dependencies modeling, which is computationally expensive with quadratic complexity. Selective structured state space model (Mamba), which is efficient for modeling long-range dependencies with linear complexity, has recently shown promising progress. However, its potential in hyperspectral image processing that requires handling numerous spectral bands has not yet been explored. In this paper, we innovatively propose S$^2$Mamba, a spatial-spectral state space model for hyperspectral image classification, to excavate spatial-spectral contextual features, resulting in more efficient and accurate land cover analysis. In S$^2$Mamba, two selective structured state space models through different dimensions are designed for feature extraction, one for spatial, and the other for spectral, along with a spatial-spectral mixture gate for optimal fusion. More specifically, S$^2$Mamba first captures spatial contextual relations by interacting each pixel with its adjacent through a Patch Cross Scanning module and then explores semantic information from continuous spectral bands through a Bi-directional Spectral Scanning module. Considering the distinct expertise of the two attributes in homogenous and complicated texture scenes, we realize the Spatial-spectral Mixture Gate by a group of learnable matrices, allowing for the adaptive incorporation of representations learned across different dimensions. Extensive experiments conducted on HSI classification benchmarks demonstrate the superiority and prospect of S$^2$Mamba. The code will be made available at: https://github.com/PURE-melo/S2Mamba.