nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark Detection with State Space Model

📄 arXiv: 2402.03526v2 📥 PDF

作者: Haifan Gong, Luoyao Kang, Yitao Wang, Xiang Wan, Haofeng Li

分类: cs.CV

发布日期: 2024-02-05 (更新: 2024-03-10)

备注: Code is available at https://github.com/lhaof/nnMamba

🔗 代码/项目: GITHUB

💡 一句话要点

提出nnMamba以解决3D生物医学图像分割与分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生物医学图像分析 3D图像分割 长距离依赖建模 卷积神经网络 状态空间模型 深度学习 图像分类 标志检测

📋 核心要点

  1. 现有方法在处理3D生物医学图像时，难以有效捕捉长距离依赖关系，导致性能受限。
  2. nnMamba通过结合CNN与状态空间模型的优点，提出了MICCSS模块来建模体素间的长距离关系。
  3. 在6个数据集上的实验结果显示，nnMamba在3D图像分割、分类和标志检测任务中优于现有最先进的方法。

📝 摘要（中文）

在生物医学图像分析领域，有效捕捉长距离依赖关系的架构至关重要，尤其是在处理3D图像分割、分类和标志检测时。传统卷积神经网络（CNN）在局部性方面存在局限，而变换器在高维医学图像应用中计算负担较重。本文提出了nnMamba，一种新颖的架构，结合了CNN的优势与状态空间序列模型（SSM）的先进长距离建模能力。我们特别提出了Mamba-In-Convolution与通道-空间Siamese学习（MICCSS）模块，以建模体素的长距离关系。通过对6个数据集的广泛实验，nnMamba在3D图像分割、分类和标志检测等一系列挑战性任务中表现优越，成为一种强大的解决方案，兼具CNN的局部表示能力和SSM的高效全局上下文处理能力。

🔬 方法详解

问题定义：本文旨在解决3D生物医学图像分析中的分割、分类和标志检测问题。现有方法如CNN在局部特征提取上表现良好，但在长距离依赖关系建模上存在不足，变换器则计算负担较重，难以应用于高维医学图像。

核心思路：nnMamba的核心思路是结合CNN的局部特征提取能力与状态空间序列模型的全局上下文建模能力。通过设计MICCSS模块，nnMamba能够有效捕捉体素间的长距离关系，从而提升图像分析的准确性。

技术框架：nnMamba的整体架构包括多个模块，首先是MICCSS模块用于长距离关系建模，其次是通道缩放和通道序列学习方法用于密集预测和分类任务。整个流程通过这些模块的协同工作，提升了模型的表现。

关键创新：nnMamba的主要创新在于引入了MICCSS模块，这一设计使得模型能够在保持局部特征提取能力的同时，有效处理全局上下文信息，与传统CNN和变换器方法相比，具有本质上的区别。

关键设计：在模型设计中，nnMamba采用了特定的损失函数以优化分类和分割性能，并在网络结构中引入了通道-空间Siamese学习机制，以增强长距离依赖关系的建模能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对6个数据集的广泛实验中，nnMamba在3D图像分割、分类和标志检测任务上均表现出色，超越了现有最先进的方法，具体性能提升幅度未知，展示了其在生物医学图像分析中的强大能力。

🎯 应用场景

nnMamba在生物医学图像分析中的潜在应用场景包括肿瘤检测、器官分割和疾病分类等。其高效的长距离依赖建模能力将为医学影像的自动化分析提供更为精准的工具，推动临床决策的智能化进程，具有重要的实际价值和未来影响。

📄 摘要（原文）

In the field of biomedical image analysis, the quest for architectures capable of effectively capturing long-range dependencies is paramount, especially when dealing with 3D image segmentation, classification, and landmark detection. Traditional Convolutional Neural Networks (CNNs) struggle with locality respective field, and Transformers have a heavy computational load when applied to high-dimensional medical images.In this paper, we introduce nnMamba, a novel architecture that integrates the strengths of CNNs and the advanced long-range modeling capabilities of State Space Sequence Models (SSMs). Specifically, we propose the Mamba-In-Convolution with Channel-Spatial Siamese learning (MICCSS) block to model the long-range relationship of the voxels. For the dense prediction and classification tasks, we also design the channel-scaling and channel-sequential learning methods. Extensive experiments on 6 datasets demonstrate nnMamba's superiority over state-of-the-art methods in a suite of challenging tasks, including 3D image segmentation, classification, and landmark detection. nnMamba emerges as a robust solution, offering both the local representation ability of CNNs and the efficient global context processing of SSMs, setting a new standard for long-range dependency modeling in medical image analysis. Code is available at https://github.com/lhaof/nnMamba