Foundation Model-Enabled Efficient Data Sampling (FEEDS): A label-efficient training strategy for pan-cancer, multi-tracer PET/CT datasets

📄 arXiv: 2608.11076v1 📥 PDF

作者: Biratal Raj Wagle, Bashirul Azam Biswas, Grant Chau, Matthew E. Maeder, Muhammad Azeem Arshad, Michael S. Leapman, James B. Yu, Indrani Bhattacharya

分类: cs.CV

发布日期: 2026-08-11

备注: Code is publicly available on https://github.com/Image-and-Multimodal-Data-Analytics/FEEDS

💡 一句话要点

提出FEEDS以解决肿瘤分割数据标注稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肿瘤分割 PET/CT成像 数据标注 深度学习 医学影像 高效学习 基础模型

📋 核心要点

  1. 现有的肿瘤分割模型训练需要大量标注数据，标注过程耗时且依赖专业知识，导致模型在临床应用中准确性不足。
  2. FEEDS通过利用视觉基础模型嵌入，选择最具信息性和多样性的未标注案例进行标注，从而实现高效的标签和计算利用。
  3. 实验结果表明，FEEDS在多个数据集上均表现出色，能够在减少70%标注负担的情况下，达到全标注训练的性能水平。

📝 摘要（中文）

自动化的肿瘤分割在全身PET/CT成像中能够帮助临床医生进行癌症检测、分期和治疗规划。然而，训练能够捕捉肿瘤大小、分布和外观变化的分割模型需要大量标注数据，创建这些数据既耗时又需要专业知识。为此，FEEDS（基础模型驱动的高效数据采样）提出了一种标签和计算高效的学习策略，利用视觉基础模型嵌入选择最具信息性和多样性的未标注案例进行专家标注。与无监督、半监督和主动学习方法不同，FEEDS是一种一步训练范式，仅需有限的代表性训练集，从而实现标签和计算的高效。通过AutoPET-III数据集进行训练和验证，并在三个独立测试集上测试其准确性和泛化能力，FEEDS在标注效率和模型性能上均表现优异。

🔬 方法详解

问题定义：本论文旨在解决自动化肿瘤分割中标注数据稀缺的问题。现有方法依赖大量标注数据，导致训练模型的准确性和泛化能力不足。

核心思路：FEEDS的核心思路是利用视觉基础模型的嵌入，选择最具信息性和多样性的未标注案例进行专家标注，从而减少对标注数据的需求。

技术框架：FEEDS的整体架构包括数据选择模块和训练模块。数据选择模块通过基础模型嵌入分析未标注数据，识别出最具代表性和多样性的样本，随后将这些样本提供给专家进行标注。训练模块则使用这些标注数据进行模型训练。

关键创新：FEEDS的创新点在于其一站式训练范式，避免了传统方法中的多步骤过程，显著提高了标签和计算的效率。与现有的无监督、半监督和主动学习方法相比，FEEDS更为简洁高效。

关键设计：在设计上，FEEDS采用了视觉基础模型的嵌入作为特征提取器，结合了特定的损失函数以优化模型性能。模型训练过程中，使用了有限的代表性训练集，确保了训练的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FEEDS在多个测试集上表现优异，能够在减少70%标注负担的情况下，达到与全标注训练相当的性能。与随机采样标注、伪标注半监督学习和仅使用有限标注数据的训练相比，FEEDS的准确性和泛化能力均显著提高，展示了其在临床应用中的潜力。

🎯 应用场景

FEEDS的研究成果在医学影像分析领域具有广泛的应用潜力，尤其是在癌症检测和治疗规划中。通过提高肿瘤分割模型的训练效率和准确性，FEEDS能够帮助临床医生更好地进行疾病诊断和治疗决策，降低对大量标注数据的依赖，推动智能医疗的发展。

📄 摘要（原文）

Automated lesion segmentation in whole-body PET/CT imaging can assist clinicians with cancer detection, staging, and treatment planning across radiotracers and cancer types. However, training lesion segmentation models that capture variations in lesion size, distribution, and appearance requires large annotated datasets, whose creation is both time- and expertise-intensive. As a result, models trained on limited labeled PET/CT data often lack the accuracy and generalizability needed for clinical use. We present FEEDS (Foundation model-Enabled Efficient Data Sampling), a label- and compute-efficient learning strategy that uses vision foundation model embeddings to select the most informative and diverse unlabeled cases for expert annotation. Unlike unsupervised, semi-supervised, and active learning approaches, FEEDS is a one-step training paradigm requiring only a limited, representative training set, making it label- and compute-efficient. We train and validate FEEDS using the AutoPET-III dataset. We test its accuracy and generalizability on three held-out sets: AutoPET-III, DeepPSMA, and an internal Dartmouth-Hitchcock Medical Center dataset. We evaluate clinical utility at the voxel, lesion, and anatomic region level to assess performance in high-risk areas and treatment planning utility. FEEDS outperforms random-sampling-based labeling, pseudolabel-based semi-supervised learning, and training with limited labeled data alone. It generalizes across all three test sets, FDG and PSMA tracers, and multiple diseases, matching fully-labeled (100\%) training performance with 70\% less annotation burden. FEEDS addresses the challenge of label scarcity in an automatic lesion segmentation framework by providing a practical approach for constructing representative and diverse annotation queues from large, unannotated clinical repositories.