UNICON: UNIfied CONtinual Learning for Medical Foundational Models

📄 arXiv: 2508.14024v1 📥 PDF

作者: Mohammad Areeb Qazi, Munachiso S Nwadike, Ibrahim Almakky, Mohammad Yaqub, Numan Saeed

分类: eess.IV, cs.CV

发布日期: 2025-08-19

备注: 10 pages, 1 figure

💡 一句话要点

提出UNICON框架以解决医学基础模型的持续学习问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 医学影像 基础模型 多任务学习 动态适应 知识整合 深度学习

📋 核心要点

  1. 医学影像领域数据稀缺，导致每个任务的预训练困难，现有方法无法有效应对多样化的任务需求。
  2. UNICON框架通过持续学习的方式，允许基础模型在不同领域和任务间无缝适应，避免了传统方法的局限性。
  3. 实验结果表明，UNICON在胸部CT模型的预后和分割任务中均实现了性能提升，Dice分数较基线提高5%。

📝 摘要（中文）

基础模型在广泛数据集上训练，以捕捉领域的普遍趋势。然而，在医学影像领域，数据稀缺使得每个领域、模态或任务的预训练变得困难。持续学习通过在不同领域或任务上顺序微调模型，提供了一种解决方案，使其能够在不需要每个训练阶段的大型数据集的情况下整合新知识。本文提出了UNIfied CONtinual Learning for Medical Foundational Models（UNICON）框架，能够无缝适应多样的领域、任务和模态。与传统的适应方法不同，UNICON提供了一个统一的、可持续扩展的框架。通过精心整合，我们展示了基础模型可以在影像模态、解剖区域和临床目标之间动态扩展，而不会发生灾难性遗忘或任务干扰。我们通过将最初用于分类的胸部CT基础模型适应于预后和分割任务，验证了我们的方法。结果显示在这两个附加任务上均有性能提升。此外，我们持续整合PET扫描，与相应基线相比，Dice分数提高了5%。这些发现表明基础模型并不固守于其初始训练范围，而是可以进化，为医学影像的通用AI模型铺平道路。

🔬 方法详解

问题定义：本文旨在解决医学影像领域中基础模型在面对数据稀缺时的适应性问题。现有方法通常在不同任务间缺乏有效的知识整合，导致灾难性遗忘和任务干扰。

核心思路：UNICON框架通过持续学习的方式，允许模型在不同领域和任务之间动态适应，提供一个统一的、可扩展的解决方案。这样的设计旨在实现模型的灵活性和知识的有效整合。

技术框架：UNICON框架包括多个模块，首先是基础模型的初始化，然后是针对不同任务的微调和知识整合，最后是动态扩展能力的实现。每个模块都旨在确保模型在新任务上学习时不遗忘旧知识。

关键创新：UNICON的主要创新在于其统一的持续学习框架，能够同时处理多种任务和模态，而不是将其视为孤立的过程。这种方法显著降低了任务间的干扰和遗忘风险。

关键设计：在模型训练中，UNICON采用了特定的损失函数和参数设置，以确保在不同任务间的知识共享和整合。网络结构经过优化，以支持多模态数据的处理和动态扩展。具体的技术细节包括使用自适应学习率和正则化技术，以提高模型的稳定性和性能。

📊 实验亮点

实验结果显示，UNICON框架在将胸部CT基础模型适应于预后和分割任务时，均实现了显著的性能提升，Dice分数较基线提高了5%。这一结果验证了UNICON在多任务学习中的有效性，展示了基础模型的可扩展性和适应性。

🎯 应用场景

UNICON框架在医学影像分析领域具有广泛的应用潜力，能够支持多种临床任务的处理，如疾病分类、预后评估和影像分割。其灵活的适应能力使得基础模型能够在数据稀缺的情况下，快速适应新的任务需求，提升医疗影像分析的效率和准确性。未来，UNICON有望推动医学影像领域的通用AI模型的发展，促进个性化医疗的实现。

📄 摘要（原文）

Foundational models are trained on extensive datasets to capture the general trends of a domain. However, in medical imaging, the scarcity of data makes pre-training for every domain, modality, or task challenging. Continual learning offers a solution by fine-tuning a model sequentially on different domains or tasks, enabling it to integrate new knowledge without requiring large datasets for each training phase. In this paper, we propose UNIfied CONtinual Learning for Medical Foundational Models (UNICON), a framework that enables the seamless adaptation of foundation models to diverse domains, tasks, and modalities. Unlike conventional adaptation methods that treat these changes in isolation, UNICON provides a unified, perpetually expandable framework. Through careful integration, we show that foundation models can dynamically expand across imaging modalities, anatomical regions, and clinical objectives without catastrophic forgetting or task interference. Empirically, we validate our approach by adapting a chest CT foundation model initially trained for classification to a prognosis and segmentation task. Our results show improved performance across both additional tasks. Furthermore, we continually incorporated PET scans and achieved a 5\% improvement in Dice score compared to respective baselines. These findings establish that foundation models are not inherently constrained to their initial training scope but can evolve, paving the way toward generalist AI models for medical imaging.