TEAMS: Text-prompted spatiotEmporal dual-heAd Mamba Snake

📄 arXiv: 2608.17421v1 📥 PDF

作者: Ruicheng Zhang, Jianhui Lei, Kaiwen Shen, Haowei Guo, Jun Zhou, Bin Chen, Mengtang Li, Shen Zhao, Shuo Li

分类: cs.CV

发布日期: 2026-08-18

备注: Medical Image Analysis (MedIA), 2026, In Press, Online Early Access Available

💡 一句话要点

提出TEAMS以解决深度蛇形实例分割中的复杂形态变化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 实例分割 深度学习 医学图像 时空建模 轮廓识别 文本提示 多模态融合

📋 核心要点

  1. 现有深度蛇形方法在处理复杂形态变化和细粒度器官细节捕捉方面存在不足，容易导致基础检测错误。
  2. 本文提出TEAMS框架，通过时空蛇形演化策略、轮廓形态感知Mamba和文本提示协作双头蛇形来解决上述问题。
  3. 在五个不同器官和成像模式的数据集上，TEAMS相较于现有方法实现了6.9%和9.1%的相对mDice/mBF提升，效果显著。

📝 摘要（中文）

深度蛇形是一种有前景的实例分割方法，能够准确预测物体轮廓，克服语义分割中的像素级误分类问题。然而，现有的深度蛇形方法在处理复杂形态变化、捕捉细粒度器官细节和纠正基础检测错误方面面临挑战。为此，本文提出了一种新的视觉-语言Mamba蛇形框架TEAMS，包含三项关键创新：引入时空蛇形演化策略（SSES）以捕捉蛇形轮廓的双向空间依赖和时间动态；提出轮廓形态感知Mamba（CMAM）以量化局部轮廓形态，增强细粒度器官细节的描绘；设计文本提示协作双头蛇形（TCDHS）以整合文本提示信息，提升深度蛇形工作流。综合评估表明，TEAMS在五个数据集上超越了现有的语义和深度蛇形分割方法，显示出其在多样化医学图像分割场景中的潜力。

🔬 方法详解

问题定义：本文旨在解决现有深度蛇形实例分割方法在复杂形态变化、细粒度器官细节捕捉及基础检测错误纠正方面的不足。

核心思路：TEAMS框架通过引入时空蛇形演化策略、轮廓形态感知Mamba和文本提示协作双头蛇形，旨在增强模型对复杂形态的适应能力和细节捕捉能力。

技术框架：TEAMS整体架构包括三个主要模块：时空蛇形演化策略（SSES）用于捕捉空间和时间依赖，轮廓形态感知Mamba（CMAM）用于局部轮廓的量化，文本提示协作双头蛇形（TCDHS）用于整合文本信息与基础检测。

关键创新：TEAMS的核心创新在于SSES和CMAM的结合，前者通过状态空间模型捕捉双向空间依赖和时间动态，后者则增强了对局部轮廓形态的感知能力，显著提升了细节描绘能力。

关键设计：在模型设计中，采用了结构化注意力机制来调节输入序列元素的重要性，损失函数设计上则考虑了细粒度特征的优化，确保模型在复杂场景中的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TEAMS在五个不同的医学数据集上表现优异，相较于现有的语义和深度蛇形分割方法，取得了6.9%和9.1%的相对mDice/mBF提升，显示出其在复杂医学图像分割任务中的有效性和可靠性。

🎯 应用场景

TEAMS框架在医学图像分割领域具有广泛的应用潜力，尤其是在处理复杂器官形态和细节捕捉方面。其可靠性和准确性使其能够在临床诊断、手术规划及医学研究中发挥重要作用，未来可能推动相关领域的技术进步。

📄 摘要（原文）

Deep snake is a promising family of instance segmentation methods that accurately predicts object-level contours, thereby overcoming common pixel-level misclassification issues such as mask cavities and jagged edges in semantic segmentation approaches. However, existing deep snake methods face challenges in handling complex morphological variations, accurately capturing fine-grained organ details, and correcting base detection errors. To mitigate these limitations, we propose a cohesive Text-prompted spatiotEmporal dual-heAd Mamba Snake (TEAMS), a novel vision-language Mamba snake framework with three key innovations: (1) A Spatiotemporal Snake Evolution Strategy (SSES) is introduced to tackle complex morphological variations by capturing bidirectional spatial dependencies along the snake contour and temporal dynamics across evolution steps in a state space model. (2) A Contour Morphology-Aware Mamba (CMAM) is proposed to quantify local contour morphologies to modulate the structured attention mask in the Mamba2 SSD dual form, which extends Mamba's capability to perceive the relative importance of its input sequence elements for better delineation of fine-grained organ details. (3) A Text-prompted Collaborative Dual-Head Snake (TCDHS) is designed to incorporate cues from textual prompts and transfer the evolved contour information to the base detection head, which enhances the deep snake workflow and mitigates wrong detections. Comprehensive evaluations on five datasets covering different organs and imaging modalities demonstrate that TEAMS outperforms existing semantic and deep snake segmentation methods (e.g., relative mDice/mBF improvements of 6.9%/9.1% in a spinal dataset), underscoring its potential as a reliable tool across diverse medical image segmentation scenarios.