A Segmentation Foundation Model for Diverse-type Tumors

📄 arXiv: 2403.06396v1 📥 PDF

作者: Jianhao Xie, Ziang Zhang, Guibo Luo, Yuesheng Zhu

分类: eess.IV, cs.CV

发布日期: 2024-03-11

备注: 10 pages, 2 figures.About Medical image segmentation and Foundation Model

💡 一句话要点

提出肿瘤分割基础模型以解决医学图像数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肿瘤分割 医学图像 深度学习 迁移学习 数据集融合 预训练模型 Resblock Transformer

📋 核心要点

  1. 现有医学图像数据集数量不足，限制了大型模型在肿瘤分割任务中的应用。
  2. 提出的TSFM模型通过融合多个肿瘤和脏器数据集，构建了一个大规模的3D医学数据集池，以提升分割性能。
  3. 实验结果显示，TSFM在多个肿瘤类型上的平均性能比nnU-Net高2%，且训练效率显著提升。

📝 摘要（中文）

大型预训练模型在各类任务中表现出色，但医学图像领域缺乏足够的数据以支持大规模模型的训练。本文提出了一种肿瘤分割基础模型（TSFM），其参数量达到16亿，采用Resblock骨干网络和Transformer瓶颈结构，具备良好的迁移能力。通过创新性地融合7个肿瘤数据集和3个多脏器数据集，构建了一个包含2779个病例和30万张医学图像的3D医学数据集池，超越了许多单一公开数据集的规模。TSFM在肿瘤分割任务中表现优异，平均性能比nnU-Net高出2%。

🔬 方法详解

问题定义：当前医学图像领域缺乏足够的数据支持，导致大型肿瘤分割模型的训练效果不佳，现有方法如nnU-Net在多样性肿瘤类型上表现有限。

核心思路：本文提出的TSFM模型通过融合多个肿瘤和脏器数据集，构建了一个大规模的3D医学数据集池，旨在提升模型的分割性能和迁移能力。

技术框架：TSFM采用Resblock作为骨干网络，结合Transformer瓶颈结构，整体架构包括数据预处理、模型训练和迁移学习三个主要阶段。

关键创新：TSFM的创新在于其大规模数据集的构建和模型架构的设计，使其在肿瘤分割任务中表现优于现有方法，尤其是在数据稀缺的情况下。

关键设计：模型参数设置为16亿，采用了适应性损失函数以提高分割精度，网络结构中融合了空间相关性强的肿瘤和脏器特征。通过精细调整训练周期，TSFM在迁移学习中仅需5%的训练周期即可达到nnU-Net的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TSFM在多个肿瘤类型上的平均性能比nnU-Net高出2%。在迁移学习任务中，TSFM仅需5%的训练周期即可达到nnU-Net的性能，且在10%的训练周期下超越nnU-Net，显示出显著的训练效率提升。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、肿瘤检测与分割等，能够为临床诊断提供更为精准的工具。未来，TSFM模型的发布将推动医学图像处理技术的发展，助力更多下游任务的实现。

📄 摘要（原文）

Large pre-trained models with their numerous model parameters and extensive training datasets have shown excellent performance in various tasks. Many publicly available medical image datasets do not have a sufficient amount of data so there are few large-scale models in medical imaging. We propose a large-scale Tumor Segmentation Foundation Model (TSFM) with 1.6 billion parameters using Resblock-backbone and Transformer-bottleneck,which has good transfer ability for downstream tasks. To make TSFM exhibit good performance in tumor segmentation, we make full use of the strong spatial correlation between tumors and organs in the medical image, innovatively fuse 7 tumor datasets and 3 multi-organ datasets to build a 3D medical dataset pool, including 2779 cases with totally 300k medical images, whose size currently exceeds many other single publicly available datasets. TSFM is the pre-trained model for medical image segmentation, which also can be transferred to multiple downstream tasks for fine-tuning learning. The average performance of our pre-trained model is 2% higher than that of nnU-Net across various tumor types. In the transfer learning task, TSFM only needs 5% training epochs of nnU-Net to achieve similar performance and can surpass nnU-Net by 2% on average with 10% training epoch. Pre-trained TSFM and its code will be released soon.