MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection

📄 arXiv: 2403.02148v4 📥 PDF

作者: Tianxiang Chen, Zi Ye, Zhentao Tan, Tao Gong, Yue Wu, Qi Chu, Bin Liu, Nenghai Yu, Jieping Ye

分类: cs.CV

发布日期: 2024-03-04 (更新: 2024-06-24)

备注: The first Mamba-based model for infrared small target detection

💡 一句话要点

提出MiM-ISTD以解决红外小目标检测效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 红外小目标检测 计算效率 深度学习 特征提取 嵌套结构 Mamba模型 高分辨率图像 实时应用

📋 核心要点

  1. 现有的红外小目标检测方法在处理高分辨率图像时面临计算和内存的限制，尤其是变换器的计算复杂度问题。
  2. 本文提出的MiM-ISTD通过设计Outer和Inner Mamba模块，分别捕捉全局和局部特征，从而提高检测效率和准确性。
  3. 实验结果显示，MiM-ISTD在NUAA-SIRST和IRSTD-1k数据集上表现优异，速度提升达到8倍，内存使用显著降低。

📝 摘要（中文）

近年来，红外小目标检测（ISTD）取得了显著进展，尤其是结合CNN和变换器的模型成功提取了局部和全局特征。然而，变换器的平方计算复杂度限制了其在长序列建模中的应用。本文受Mamba模型的启发，探索其在ISTD任务中的有效性和效率。我们提出了嵌套结构MiM-ISTD，通过Outer和Inner Mamba模块有效捕捉全局和局部特征。实验结果表明，MiM-ISTD在NUAA-SIRST和IRSTD-1k数据集上表现出优越的准确性和效率，测试时速度比现有最优方法快8倍，GPU内存使用减少62.2%。

🔬 方法详解

问题定义：本文旨在解决红外小目标检测中的计算效率和内存使用问题。现有方法，尤其是基于变换器的模型，因其平方复杂度在处理高分辨率图像时表现不佳。

核心思路：我们提出了MiM-ISTD结构，通过Outer和Inner Mamba模块分别处理全局和局部特征，以提高检测效率。将局部图像块视为“视觉句子”，而将其细分为“视觉词”，以此优化特征提取过程。

技术框架：MiM-ISTD由Outer Mamba和Inner Mamba两个主要模块组成。Outer Mamba负责提取全局信息，而Inner Mamba则在局部特征中进行更细致的分析。整个流程通过聚合视觉句子和视觉词的特征来实现高效检测。

关键创新：MiM-ISTD的创新在于其嵌套结构设计，能够有效结合全局和局部特征，克服了传统变换器在处理小目标时的不足。

关键设计：在设计中，我们采用了特定的参数设置以优化计算效率，并使用损失函数来平衡全局和局部特征的学习。网络结构上，Outer和Inner Mamba模块的设计使得计算复杂度大幅降低。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MiM-ISTD在NUAA-SIRST和IRSTD-1k数据集上表现出色，检测速度比现有最优方法快8倍，GPU内存使用减少62.2%，有效克服了高分辨率红外图像处理中的计算和内存限制。

🎯 应用场景

该研究在红外小目标检测领域具有广泛的应用潜力，特别是在军事监控、无人驾驶和安防监控等高需求场景中。通过提高检测效率和准确性，MiM-ISTD能够在实时应用中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Recently, infrared small target detection (ISTD) has made significant progress, thanks to the development of basic models. Specifically, the models combining CNNs with transformers can successfully extract both local and global features. However, the disadvantage of the transformer is also inherited, i.e., the quadratic computational complexity to sequence length. Inspired by the recent basic model with linear complexity for long-distance modeling, Mamba, we explore the potential of this state space model for ISTD task in terms of effectiveness and efficiency in the paper. However, directly applying Mamba achieves suboptimal performances due to the insufficient harnessing of local features, which are imperative for detecting small targets. Instead, we tailor a nested structure, Mamba-in-Mamba (MiM-ISTD), for efficient ISTD. It consists of Outer and Inner Mamba blocks to adeptly capture both global and local features. Specifically, we treat the local patches as "visual sentences" and use the Outer Mamba to explore the global information. We then decompose each visual sentence into sub-patches as "visual words" and use the Inner Mamba to further explore the local information among words in the visual sentence with negligible computational costs. By aggregating the visual word and visual sentence features, our MiM-ISTD can effectively explore both global and local information. Experiments on NUAA-SIRST and IRSTD-1k show the superior accuracy and efficiency of our method. Specifically, MiM-ISTD is $8 \times$ faster than the SOTA method and reduces GPU memory usage by 62.2$\%$ when testing on $2048 \times 2048$ images, overcoming the computation and memory constraints on high-resolution infrared images.