SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

📄 arXiv: 2404.08489v1 📥 PDF

作者: Jing Yao, Danfeng Hong, Chenyu Li, Jocelyn Chanussot

分类: cs.CV

发布日期: 2024-04-12

💡 一句话要点

提出SpectralMamba以解决高光谱图像分类效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 高光谱图像 深度学习 状态空间模型 卷积神经网络 遥感技术 图像分类 计算效率

📋 核心要点

  1. 现有的递归神经网络和变换器在高光谱图像分类中效率低下，难以并行化，计算开销大。
  2. SpectralMamba通过状态空间模型和高效卷积，简化高光谱数据动态建模，提升分类效率。
  3. 在四个基准数据集上，SpectralMamba在性能和效率上均表现出显著提升，展现出良好的应用前景。

📝 摘要（中文）

近年来，递归神经网络和变换器在高光谱成像应用中占据主导地位，因其能够捕捉光谱序列中的长程依赖。然而，这些序列架构的并行化困难和计算开销大，限制了其在大规模遥感场景中的实用性。为此，本文提出了SpectralMamba，一种新颖的状态空间模型，结合高效深度学习框架用于高光谱图像分类。SpectralMamba在空间-光谱空间中通过高效卷积学习动态掩模，同时编码空间规律和光谱特性，减轻光谱变异性和混淆。通过在隐藏状态空间中高效操作合并光谱，SpectralMamba实现了选择性聚焦响应，避免了冗余注意力或不可并行的递归。通过在四个基准高光谱数据集上的广泛实验，SpectralMamba在性能和效率上均取得了令人满意的结果。

🔬 方法详解

问题定义：本文旨在解决高光谱图像分类中现有方法的效率低下问题，尤其是递归神经网络和变换器在并行化和计算开销方面的不足。

核心思路：SpectralMamba的核心思路是通过状态空间模型结合高效卷积，简化高光谱数据的动态建模，减少冗余计算，提升分类效率。

技术框架：整体架构包括两个主要模块：首先在空间-光谱空间中学习动态掩模以编码空间规律和光谱特性；其次在隐藏状态空间中高效处理合并光谱，确保响应的选择性聚焦。

关键创新：SpectralMamba的创新在于其通过动态掩模和输入依赖的参数学习，避免了传统方法中的冗余注意力和不可并行的递归，显著提升了计算效率。

关键设计：关键设计包括高效卷积操作、动态掩模的学习机制，以及在隐藏状态空间中对合并光谱的高效处理，确保了短期和长期上下文信息的保留。

📊 实验亮点

在四个基准高光谱数据集上，SpectralMamba在分类性能上超越了现有主流方法，且在计算效率上显著提升，展示了在性能和效率之间的良好平衡，具有广泛的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括遥感监测、环境监测和农业管理等。通过提高高光谱图像分类的效率，SpectralMamba能够在大规模数据处理和实时监测中发挥重要作用，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Recurrent neural networks and Transformers have recently dominated most applications in hyperspectral (HS) imaging, owing to their capability to capture long-range dependencies from spectrum sequences. However, despite the success of these sequential architectures, the non-ignorable inefficiency caused by either difficulty in parallelization or computationally prohibitive attention still hinders their practicality, especially for large-scale observation in remote sensing scenarios. To address this issue, we herein propose SpectralMamba -- a novel state space model incorporated efficient deep learning framework for HS image classification. SpectralMamba features the simplified but adequate modeling of HS data dynamics at two levels. First, in spatial-spectral space, a dynamical mask is learned by efficient convolutions to simultaneously encode spatial regularity and spectral peculiarity, thus attenuating the spectral variability and confusion in discriminative representation learning. Second, the merged spectrum can then be efficiently operated in the hidden state space with all parameters learned input-dependent, yielding selectively focused responses without reliance on redundant attention or imparallelizable recurrence. To explore the room for further computational downsizing, a piece-wise scanning mechanism is employed in-between, transferring approximately continuous spectrum into sequences with squeezed length while maintaining short- and long-term contextual profiles among hundreds of bands. Through extensive experiments on four benchmark HS datasets acquired by satellite-, aircraft-, and UAV-borne imagers, SpectralMamba surprisingly creates promising win-wins from both performance and efficiency perspectives.