Quantifying uncertainty in lung cancer segmentation with foundation models applied to mixed-domain datasets

📄 arXiv: 2403.13113v3 📥 PDF

作者: Aneesh Rangnekar, Nishant Nadkarni, Jue Jiang, Harini Veeraraghavan

分类: eess.IV, cs.CV

发布日期: 2024-03-19 (更新: 2025-01-30)

备注: Accepted at SPIE Medical Imaging 2025

💡 一句话要点

提出快速评估肺癌分割模型不确定性的方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肺癌分割 医学图像 不确定性量化 基础模型 自监督学习 性能评估 混合领域数据集 肿瘤检测

📋 核心要点

  1. 现有医学图像分割模型在特定数据集上表现良好，但在外部数据集上缺乏鲁棒性，难以评估持续性能。
  2. 本文提出了一套新的快速评估指标，旨在量化基础模型在肺癌分割中的不确定性，尤其是在不同成像协议下的表现。
  3. 实验结果显示，SMIT模型在多个数据集上实现了最高的F1分数和最低的熵，表明其在肿瘤检测和分割方面的优势。

📝 摘要（中文）

医学图像基础模型在器官和肿瘤分割方面表现出色，但在不同成像协议下的外部数据集上表现不佳。本文提出了一套快速计算的指标，评估多种基础模型（如Swin UNETR、SimMIM等）在肺肿瘤分割中的表现。通过对两个公共肺癌数据集的评估，发现SMIT模型在肿瘤检测率和分割置信度上表现最佳，提供了对混合领域数据集模型性能的深入理解。

🔬 方法详解

问题定义：本文旨在解决医学图像分割模型在外部数据集上表现不佳的问题，尤其是在缺乏“真实标签”情况下的性能评估挑战。现有方法通常依赖于特定数据集的评估，无法有效应对不同成像协议带来的性能漂移。

核心思路：论文提出了一套快速计算的评估指标，结合熵和体积占用率等新指标，帮助理解模型在混合领域数据集上的表现。通过对多种基础模型的评估，揭示其在不同数据集上的不确定性。

技术框架：研究中使用的模型包括Swin UNETR、SimMIM、iBOT和SMIT，所有模型均在相同的数据集上进行微调，评估则在两个公共肺癌数据集及一个非癌症数据集上进行。评估流程包括数据预处理、模型推理和性能指标计算。

关键创新：最重要的创新在于引入了熵和体积占用率等新指标，提供了对模型在不同数据集上表现的更全面理解。这些指标能够揭示模型的不确定性，帮助临床应用中更好地评估模型性能。

关键设计：在模型训练过程中，采用自监督学习方法进行微调，损失函数设计上注重提高肿瘤分割的准确性和置信度。模型的参数设置经过精细调整，以确保在不同数据集上均能保持较高的性能。具体而言，SMIT模型在肿瘤检测率和分割置信度上表现最佳，F1分数和熵的设计使其在评估中具有优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMIT模型在LRAD和5Rater数据集上分别达到了0.60和0.64的F1分数，且在不确定性评估中表现最佳，熵值最低，显示出更高的肿瘤检测率和置信度。此外，在外部数据集上，SMIT模型的肿瘤误检率最低，体积占用率中位数为5.67 cc，优于其他模型。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、肿瘤检测和临床决策支持。通过提供对模型不确定性的量化评估，能够帮助医生在实际应用中更好地理解模型的可靠性，从而提高临床诊断的准确性和效率。未来，该方法还可扩展到其他医学影像任务中，推动智能医疗的发展。

📄 摘要（原文）

Medical image foundation models have shown the ability to segment organs and tumors with minimal fine-tuning. These models are typically evaluated on task-specific in-distribution (ID) datasets. However, reliable performance on ID datasets does not guarantee robust generalization on out-of-distribution (OOD) datasets. Importantly, once deployed for clinical use, it is impractical to have `ground truth' delineations to assess ongoing performance drifts, especially when images fall into the OOD category due to different imaging protocols. Hence, we introduced a comprehensive set of computationally fast metrics to evaluate the performance of multiple foundation models (Swin UNETR, SimMIM, iBOT, SMIT) trained with self-supervised learning (SSL). All models were fine-tuned on identical datasets for lung tumor segmentation from computed tomography (CT) scans. The evaluation was performed on two public lung cancer datasets (LRAD: n = 140, 5Rater: n = 21) with different image acquisitions and tumor stages compared to training data (n = 317 public resource with stage III-IV lung cancers) and a public non-cancer dataset containing volumetric CT scans of patients with pulmonary embolism (n = 120). All models produced similarly accurate tumor segmentation on the lung cancer testing datasets. SMIT produced the highest F1-score (LRAD: 0.60, 5Rater: 0.64) and lowest entropy (LRAD: 0.06, 5Rater: 0.12), indicating higher tumor detection rate and confident segmentations. In the OOD dataset, SMIT misdetected the least number of tumors, marked by a median volume occupancy of 5.67 cc compared to the best method SimMIM of 9.97 cc. Our analysis shows that additional metrics such as entropy and volume occupancy may help better understand model performance on mixed domain datasets.