Rotate to Scan: UNet-like Mamba with Triplet SSM Module for Medical Image Segmentation

📄 arXiv: 2403.17701v4 📥 PDF

作者: Hao Tang, Lianglun Cheng, Guoheng Huang, Zhengguang Tan, Junhao Lu, Kaihong Wu

分类: eess.IV, cs.CV, cs.LG

发布日期: 2024-03-26 (更新: 2024-05-03)

备注: Experimental method encountered errors, undergoing experiment again

💡 一句话要点

提出Triplet Mamba-UNet以解决医学图像分割中的特征提取不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医学图像分割 卷积神经网络 状态空间模型 特征提取 深度学习

📋 核心要点

  1. 现有医学图像分割方法在特征提取上存在不足，导致性能受限。
  2. 提出的Triplet Mamba-UNet通过残差VSS块和Triplet SSM有效提取和融合特征。
  3. 在多个医学图像数据集上，TM-UNet的分割性能显著优于VM-UNet，并减少了参数量。

📝 摘要（中文）

医学图像分割在诊断和治疗中占据重要地位。尽管传统的卷积神经网络和Transformer模型在该领域取得了显著进展，但仍面临感受野有限或计算复杂度高的挑战。最近，状态空间模型（SSMs），尤其是Mamba及其变体，在视觉领域表现出色。然而，其特征提取方法可能不够有效，保留了一些冗余结构，导致参数冗余。为此，我们提出了Triplet Mamba-UNet，利用残差VSS块提取密集上下文特征，并采用Triplet SSM在空间和通道维度上融合特征。实验结果表明，TM-UNet在多个数据集上表现出优越的分割性能，并且相比于之前的VM-UNet，我们的模型实现了三分之一的参数减少。

🔬 方法详解

问题定义：本论文旨在解决医学图像分割中现有方法在特征提取方面的不足，尤其是感受野的限制和计算复杂度高的问题。现有的卷积神经网络和Transformer模型在处理复杂医学图像时，往往无法有效提取关键特征，导致分割性能不理想。

核心思路：论文提出的Triplet Mamba-UNet通过引入残差VSS块来提取密集的上下文特征，并利用Triplet SSM在空间和通道维度上进行特征融合。这种设计旨在提高特征提取的有效性，同时减少冗余结构，从而优化模型的参数配置。

技术框架：整体架构包括多个模块，首先通过残差VSS块提取图像特征，然后使用Triplet SSM进行特征融合，最后通过解码器进行图像分割。该框架的设计使得模型能够在不同维度上有效整合信息，提升分割精度。

关键创新：最重要的技术创新在于引入Triplet SSM模块，使得特征融合不仅限于单一维度，而是同时考虑空间和通道信息。这一方法与传统的特征融合方式有本质区别，能够更全面地捕捉图像特征。

关键设计：在模型设计中，采用了残差连接以增强特征传递，并通过优化损失函数来提升分割效果。此外，模型的参数设置经过精心调整，以实现与VM-UNet相比的显著参数减少。具体而言，TM-UNet的参数量减少了三分之一，保持了高效的分割性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Triplet Mamba-UNet在ISIC17、ISIC18、CVC-300等多个数据集上均表现出优越的分割性能，相比于VM-UNet，模型参数减少了三分之一，同时保持了高效的分割精度，证明了其在医学图像分割中的有效性。

🎯 应用场景

该研究在医学图像分割领域具有广泛的应用潜力，尤其是在疾病诊断和治疗规划中。通过提高分割精度，TM-UNet能够帮助医生更准确地识别病变区域，从而提升临床决策的质量。此外，随着医疗影像数据的不断增加，该方法的高效性和准确性将对未来的智能医疗系统产生积极影响。

📄 摘要（原文）

Image segmentation holds a vital position in the realms of diagnosis and treatment within the medical domain. Traditional convolutional neural networks (CNNs) and Transformer models have made significant advancements in this realm, but they still encounter challenges because of limited receptive field or high computing complexity. Recently, State Space Models (SSMs), particularly Mamba and its variants, have demonstrated notable performance in the field of vision. However, their feature extraction methods may not be sufficiently effective and retain some redundant structures, leaving room for parameter reduction. Motivated by previous spatial and channel attention methods, we propose Triplet Mamba-UNet. The method leverages residual VSS Blocks to extract intensive contextual features, while Triplet SSM is employed to fuse features across spatial and channel dimensions. We conducted experiments on ISIC17, ISIC18, CVC-300, CVC-ClinicDB, Kvasir-SEG, CVC-ColonDB, and Kvasir-Instrument datasets, demonstrating the superior segmentation performance of our proposed TM-UNet. Additionally, compared to the previous VM-UNet, our model achieves a one-third reduction in parameters.