Foundation Model-guided Iteratively Prompting and Pseudo-Labeling for Partially Labeled Medical Image Segmentation

📄 arXiv: 2604.01038v1 📥 PDF

作者: Qiaochu Zhao, Wei Wei, David Horowitz, Richard Bakst, Yading Yuan

分类: cs.CV

发布日期: 2026-04-01

备注: 5 pages, 5 figures. Accepted for presentation at IEEE International Symposium on Biomedical Imaging (ISBI) 2026

💡 一句话要点

提出IPnP框架，利用Foundation Model迭代提示和伪标签解决医学图像部分标注分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 部分标注学习 Foundation Model 伪标签 迭代提示

📋 核心要点

  1. 医学图像分割面临部分标注问题，即只有部分器官被标注，导致模型性能下降。
  2. IPnP框架通过迭代提示和伪标签，利用Foundation Model生成未标注器官的伪标签，逐步恢复完整监督。
  3. 实验表明，IPnP在公开数据集和私有数据集上均优于现有方法，接近完全标注的性能。

📝 摘要（中文）

本文提出了一种用于部分标注医学图像分割的迭代提示和伪标签框架IPnP。由于临床优先级和手动标注的高成本，医学图像通常只标注了部分器官，导致性能下降。IPnP通过可训练的分割网络（专家）和冻结的Foundation Model（通才）之间的协作，迭代地生成和细化未标注器官的伪标签，逐步恢复完整器官的监督信息。在模拟部分标注的公开数据集AMOS上，IPnP始终优于现有方法，并接近完全标注的参考性能。在包含210名头颈癌患者的私有部分标注数据集上，进一步验证了IPnP在实际临床环境中的有效性。

🔬 方法详解

问题定义：论文旨在解决医学图像分割中，由于数据集中仅有部分器官被标注而导致分割性能下降的问题。现有的方法在处理部分标注数据时，往往难以充分利用未标注器官的信息，导致分割精度受限。

核心思路：论文的核心思路是利用一个预训练的、通用的Foundation Model作为“通才”，辅助训练一个专门的分割网络（“专家”）。通过迭代地利用Foundation Model的先验知识生成未标注器官的伪标签，并用这些伪标签来训练专家网络，从而逐步提高分割性能。

技术框架：IPnP框架包含两个主要组成部分：一个可训练的分割网络（专家）和一个冻结的Foundation Model（通才）。框架的流程如下：1) 使用已标注的数据训练专家网络；2) 利用Foundation Model对未标注器官生成伪标签；3) 使用生成的伪标签和已标注数据一起训练专家网络；4) 重复步骤2和3，迭代地细化伪标签和专家网络。

关键创新：该方法最重要的创新点在于利用了预训练的Foundation Model的通用知识来指导部分标注数据的分割。与传统的半监督学习方法不同，IPnP不需要额外的正则化项或复杂的训练策略，而是通过Foundation Model的提示来生成高质量的伪标签。

关键设计：Foundation Model采用冻结策略，避免在特定数据集上过拟合。专家网络可以使用常见的分割网络结构，如U-Net。伪标签的生成可以通过提示Foundation Model来完成，例如，输入包含上下文信息的图像块，并要求Foundation Model预测未标注器官的分割结果。损失函数可以使用交叉熵损失或Dice损失，同时考虑已标注数据和伪标签数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AMOS数据集上，IPnP方法在模拟部分标注的设置下，显著优于现有的半监督学习方法，并且性能接近完全标注的参考模型。在包含210名头颈癌患者的私有数据集上，IPnP也取得了显著的分割性能提升，验证了其在实际临床环境中的有效性。

🎯 应用场景

该研究成果可应用于多种医学图像分割任务，尤其是在标注数据有限的情况下。例如，可以用于辅助医生进行肿瘤勾画、器官分割等，提高诊断效率和准确性。此外，该方法还可以推广到其他领域，如遥感图像分割、自动驾驶等，具有广泛的应用前景。

📄 摘要（原文）

Automated medical image segmentation has achieved remarkable progress with fully labeled data. However, site-specific clinical priorities and the high cost of manual annotation often yield scans with only a subset of organs labeled, leading to the partially labeled problem that degrades performance. To address this issue, we propose IPnP, an Iteratively Prompting and Pseudo-labeling framework, for partially labeled medical image segmentation. IPnP iteratively generates and refines pseudo-labels for unlabeled organs through collaboration between a trainable segmentation network (specialist) and a frozen foundation model (generalist), progressively recovering full-organ supervision. On the public dataset AMOS with the simulated partial-label setting, IPnP consistently improves segmentation performance over prior methods and approaches the performance of the fully labeled reference. We further evaluate on a private, partially labeled dataset of 210 head-and-neck cancer patients and demonstrate our effectiveness in real-world clinical settings.