MedMamba: Vision Mamba for Medical Image Classification

📄 arXiv: 2403.03849v5 📥 PDF

作者: Yubiao Yue, Zhenzhang Li

分类: eess.IV, cs.CV, cs.LG

发布日期: 2024-03-06 (更新: 2024-09-29)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MedMamba以解决医疗图像分类中的长程依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医疗图像分类 卷积神经网络 视觉变换器 状态空间模型 长程依赖 高效计算 混合基本块

📋 核心要点

  1. 现有的CNN和ViT在医疗图像分类中存在长程依赖建模不足和计算复杂度高的问题。
  2. MedMamba通过引入SS-Conv-SSM混合基本块，有效结合卷积层和状态空间模型，提升了长程依赖的建模能力。
  3. 在16个数据集上进行评估，MedMamba在大多数任务中表现出优于现有最先进方法的竞争性能。

📝 摘要（中文）

自深度学习时代以来，卷积神经网络（CNN）和视觉变换器（ViT）在医疗图像分类任务中得到了广泛研究和应用。然而，CNN在建模长程依赖方面的局限性导致分类性能不佳，而ViT由于自注意力机制的平方计算复杂度，使其在计算资源有限的实际应用中难以部署。为此，本文提出了MedMamba，首个用于广义医疗图像分类的视觉Mamba，结合了卷积层提取局部特征与状态空间模型（SSM）捕捉长程依赖的能力。通过分组卷积策略和通道洗牌操作，MedMamba在保持准确性的同时，显著减少了模型参数和计算负担。实验结果表明，MedMamba在大多数任务上表现出竞争力，建立了医疗图像分类的新基准。

🔬 方法详解

问题定义：本文旨在解决医疗图像分类中长程依赖建模不足和计算复杂度高的问题。现有的CNN在处理长程依赖时表现不佳，而ViT由于自注意力机制的复杂性，难以在资源受限的环境中应用。

核心思路：MedMamba的核心思路是结合卷积层的局部特征提取能力与状态空间模型（SSM）对长程依赖的建模能力，形成一种新的混合基本块SS-Conv-SSM，以提高医疗图像分类的效率和准确性。

技术框架：MedMamba的整体架构包括多个SS-Conv-SSM基本块，通过分组卷积和通道洗牌操作来优化模型参数和计算效率。该架构能够处理不同模态的医疗图像，确保高效的特征提取和分类。

关键创新：MedMamba的主要创新在于引入了SS-Conv-SSM混合基本块，突破了传统CNN和ViT在长程依赖建模和计算复杂度上的限制，实现了线性复杂度的高效建模。

关键设计：在设计中，MedMamba采用了分组卷积策略以减少参数量，并通过通道洗牌操作提升特征的表达能力，确保在保持准确性的同时降低计算负担。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在16个数据集的实验中，MedMamba在大多数任务上表现出竞争力，尤其在处理复杂医疗图像时，相较于现有最先进的方法，准确率提升幅度达到XX%（具体数据未知）。

🎯 应用场景

MedMamba在医疗图像分类领域具有广泛的应用潜力，能够有效处理不同模态的医学影像数据，如CT、MRI和X光等。其高效的计算性能使其适用于资源受限的医疗环境，推动了基于Mamba的人工智能算法在医学领域的进一步发展。

📄 摘要（原文）

Since the era of deep learning, convolutional neural networks (CNNs) and vision transformers (ViTs) have been extensively studied and widely used in medical image classification tasks. Unfortunately, CNN's limitations in modeling long-range dependencies result in poor classification performances. In contrast, ViTs are hampered by the quadratic computational complexity of their self-attention mechanism, making them difficult to deploy in real-world settings with limited computational resources. Recent studies have shown that state space models (SSMs) represented by Mamba can effectively model long-range dependencies while maintaining linear computational complexity. Inspired by it, we proposed MedMamba, the first Vision Mamba for generalized medical image classification. Concretely, we introduced a novel hybrid basic block named SS-Conv-SSM, which purely integrates the convolutional layers for extracting local features with the abilities of SSM to capture long-range dependencies, aiming to model medical images from different image modalities efficiently. By employing the grouped convolution strategy and channel-shuffle operation, MedMamba successfully provides fewer model parameters and a lower computational burden for efficient applications without sacrificing accuracy. We thoroughly evaluated MedMamba using 16 datasets containing ten imaging modalities and 411,007 images. Experimental results show that MedMamba demonstrates competitive performance on most tasks compared with the state-of-the-art methods. This work aims to explore the potential of Vision Mamba and establish a new baseline for medical image classification, thereby providing valuable insights for developing more powerful Mamba-based artificial intelligence algorithms and applications in medicine. The source codes and all pre-trained weights of MedMamba are available at https://github.com/YubiaoYue/MedMamba.