Attention-Mamba: A Mamba-Enhanced Multi-Scale Parallel Inference Network for Medical Image Segmentation

📄 arXiv: 2402.02286v4 📥 PDF

作者: Yanhua Zhang, Ke Zhang, Jingyu Wang, Gabriella Balestra, Samanta Rosati, Yulin Wu, Wuwei Wang, Valentina Giannini

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-02-03 (更新: 2026-05-08)

备注: 14 pages, 9 figures and 8 Tables

💡 一句话要点

提出Attention-Mamba以解决医学图像分割中的多尺度特征提取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医学图像分割 多尺度特征提取 Transformer Mamba模型 深度学习 卷积神经网络 长程依赖 递归对齐模块

📋 核心要点

  1. 现有的U型架构在处理尺度变化时效率较低，且Transformer的计算和内存复杂度较高，限制了其应用。
  2. 本文通过构建多尺度并行分支和引入Mamba模型，提出了一种新的网络架构，能够高效捕捉长程依赖。
  3. 在多个医学成像数据集上，所提模型在分割性能上超越了现有的2D CNN、Transformer和基于Mamba的网络，且参数量和计算复杂度较低。

📝 摘要（中文）

U型架构在医学图像分割领域长期占据主导地位，而Transformer则广泛用于建模长程依赖关系。本文提出了一种有效的替代方案，通过在不同层次构建并行分支来获取多尺度特征和相应预测。此外，我们通过集成Mamba，一个以线性复杂度捕捉长程依赖的状态空间模型，增强了网络性能。实验结果表明，所提网络在MRI、CT和皮肤镜等三种成像模式下表现优越，且在多个数据集上实现了最高的分割性能，同时保持高效性。

🔬 方法详解

问题定义：本文旨在解决医学图像分割中多尺度特征提取的效率问题，现有U型架构在处理尺度变化时存在不足，Transformer的计算复杂度较高，限制了其应用。

核心思路：通过构建并行分支和引入Mamba模型，本文提出了一种新的网络架构，能够在保持高效性的同时捕捉长程依赖。

技术框架：整体架构包括双路径结构和递归对齐模块（RAM），通过侧向连接在每个分支中聚合高层语义信息和低层空间细节，最后通过Mamba分支建立层次化全局表示。

关键创新：最重要的创新点在于引入Mamba模型和基于Mamba的注意力机制，显著提高了信息在不同尺度间的交换效率，与传统方法相比，计算复杂度大幅降低。

关键设计：网络设计中采用了双路径架构和递归对齐模块，损失函数优化了全局特征学习和多尺度融合，参数设置上保持了较小的模型规模（14.05 M）和适中的计算复杂度（8.94 GFLOPs）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个医学成像数据集（如Synapse、ACDC、ISIC-2018和PH2）上的实验结果显示，所提模型在分割性能上超越了现有的2D CNN、Transformer和基于Mamba的网络，取得了最高的分割性能，同时保持了较低的参数量（14.05 M）和适中的计算复杂度（8.94 GFLOPs）。

🎯 应用场景

该研究的潜在应用领域包括医学图像分析、疾病诊断和治疗规划等。通过提高医学图像分割的准确性和效率，能够为临床医生提供更可靠的决策支持，进而改善患者的治疗效果。未来，该方法有望推广到其他领域的图像处理任务中。

📄 摘要（原文）

U-shaped architectures have long dominated the field of medical image segmentation, while Transformers are widely employed for modeling long-range dependencies. The former typically handles scale variations implicitly by aggregating multi-level features, whereas the efficiency of the latter is constrained by its quadratic computational and memory complexity. In this work, we propose an effective alternative to traditional U-shaped architectures by constructing parallel branches at different levels to obtain multi-scale features and corresponding predictions. Furthermore, we enhance our network by integrating Mamba, a state space model that captures long-range dependencies with linear complexity. First, a dual-path architecture with lateral connections aggregates high-level semantic information and low-level spatial details at each branch. Then, we introduce a Recursive Alignment Module (RAM) that restores spatial details in low-resolution features through stepwise alignment, optimizing them for subsequent global feature learning and multi-scale fusion. We further build parallel Mamba branches upon aligned features to establish hierarchical global representations. Finally, we propose a Mamba-based attention mechanism for adaptive multi-scale prediction fusion; this mechanism utilizes Mamba to enhance information exchange across scales along both the channel and spatial dimensions. Experiments across three imaging modalities (MRI, CT, and dermoscopy) underscore the superior generalization of the proposed network. Compared to state-of-the-art 2D CNN, Transformer, and Mamba-based networks, our model achieves the highest segmentation performance on the Synapse, ACDC, ISIC-2018, and PH2 datasets while maintaining high efficiency, featuring the second-smallest parameters (14.05 M) and moderate computational complexity (8.94 GFLOPs).