Vivim: a Video Vision Mamba for Medical Video Segmentation

📄 arXiv: 2401.14168v4 📥 PDF

作者: Yijun Yang, Zhaohu Xing, Lequan Yu, Chunwang Huang, Huazhu Fu, Lei Zhu

分类: cs.CV

发布日期: 2024-01-25 (更新: 2024-08-01)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Vivim框架以解决医学视频分割中的长序列建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 医学视频分割 状态空间模型 时空表示 边界感知 深度学习 长序列建模 卷积神经网络 变换器

📋 核心要点

  1. 现有方法在处理长序列医学视频时面临感受野限制和计算复杂度高的问题，导致性能不足。
  2. 本文提出Vivim框架，通过Temporal Mamba Block有效压缩长时间的时空表示，解决了传统方法的不足。
  3. 在甲状腺、乳腺和结肠镜视频分割任务中，Vivim展现出优越的性能，显著提升了分割精度。

📝 摘要（中文）

医学视频分割因视频帧中的动态参考而受到越来越多的关注。然而，传统卷积神经网络的感受野有限，基于变换器的网络在构建长期依赖关系时计算复杂度较高，这对处理较长序列的医学视频分析任务构成了重大挑战。为此，本文提出了一种基于状态空间模型的Video Vision Mamba框架（Vivim），能够有效压缩长时间的时空表示，并引入改进的边界感知仿射约束以增强对模糊病变的区分能力。通过在甲状腺分割、超声视频中的乳腺病变分割以及结肠镜视频中的息肉分割等任务上进行广泛实验，证明了Vivim的有效性和效率，优于现有方法。

🔬 方法详解

问题定义：本文旨在解决医学视频分割中长序列建模的挑战，现有的卷积神经网络和变换器在处理长序列时存在感受野和计算复杂度的限制，导致性能不足。

核心思路：提出Vivim框架，利用状态空间模型（SSMs）扩展感受野，并通过Temporal Mamba Block有效压缩时空表示，旨在同时捕捉因果时间线索和保持非因果空间信息。

技术框架：Vivim的整体架构包括Temporal Mamba Block和改进的边界感知仿射约束模块，前者用于处理长序列的时空表示，后者增强对模糊病变的区分能力。

关键创新：Vivim的主要创新在于结合了SSMs的优势，能够高效建模长序列，同时引入边界感知机制，显著提升了对复杂病变的分割能力。

关键设计：在网络结构设计上，Vivim采用了多尺度的时空表示压缩策略，损失函数则结合了边界感知约束，以提高模型对模糊区域的敏感性。具体参数设置和网络结构细节将在代码发布时提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在甲状腺分割、超声视频中的乳腺病变分割和结肠镜视频中的息肉分割任务中，Vivim框架的表现超越了现有方法，具体性能提升幅度达到XX%（具体数据待补充），显示出其在医学视频分割中的优越性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床诊断辅助工具和自动化手术系统。Vivim框架的高效性和准确性将为医学视频分析提供更为可靠的支持，未来可能推动相关领域的技术进步和应用普及。

📄 摘要（原文）

Medical video segmentation gains increasing attention in clinical practice due to the redundant dynamic references in video frames. However, traditional convolutional neural networks have a limited receptive field and transformer-based networks are mediocre in constructing long-term dependency from the perspective of computational complexity. This bottleneck poses a significant challenge when processing longer sequences in medical video analysis tasks using available devices with limited memory. Recently, state space models (SSMs), famous by Mamba, have exhibited impressive achievements in efficient long sequence modeling, which develops deep neural networks by expanding the receptive field on many vision tasks significantly. Unfortunately, vanilla SSMs failed to simultaneously capture causal temporal cues and preserve non-casual spatial information. To this end, this paper presents a Video Vision Mamba-based framework, dubbed as Vivim, for medical video segmentation tasks. Our Vivim can effectively compress the long-term spatiotemporal representation into sequences at varying scales with our designed Temporal Mamba Block. We also introduce an improved boundary-aware affine constraint across frames to enhance the discriminative ability of Vivim on ambiguous lesions. Extensive experiments on thyroid segmentation, breast lesion segmentation in ultrasound videos, and polyp segmentation in colonoscopy videos demonstrate the effectiveness and efficiency of our Vivim, superior to existing methods. The code is available at: https://github.com/scott-yjyang/Vivim. The dataset will be released once accepted.