STAIL: Semantic Text-Anchored Incremental Learning for Medical Imaging via Large Language Models

📄 arXiv: 2608.05808v1 📥 PDF

作者: Songpan Gao, Yajie Zhang, Guanxing Chen, Jiayu Qian, Zhenzhen Liu, Shijun Li, Xiaowei Zhu, Yao Hu, Kay Chen Tan, Yu-An Huang, Shiqi Wang, Zhi-An Huang

分类: cs.CV

发布日期: 2026-08-06

💡 一句话要点

提出STAIL以解决医疗影像增量学习中的遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 增量学习 医疗影像 灾难性遗忘 语义锚定 大型语言模型 深度学习 图像分析 文本描述

📋 核心要点

  1. 现有增量学习方法在医疗影像分析中面临灾难性遗忘，重演历史图像的方式存在存储和隐私问题。
  2. STAIL框架通过引入语义整合缓冲区和语义锚定机制，利用文本描述和图像锚点实现高效的增量学习。
  3. 在三个异构医疗数据集上，STAIL在持续性能和减少遗忘方面分别提升了2.24%和3.55%。

📝 摘要（中文）

深度学习模型在医疗影像分析中面临严重的灾难性遗忘问题，尤其是在动态环境中不断适应新的临床任务。现有的增量学习方法通常通过重演历史图像来缓解这一问题，但这种像素级重演不仅占用大量存储空间，还引发隐私问题，并且无法充分捕捉稀疏样本的真实数据分布。为此，本文提出了一种新颖的框架——语义文本锚定增量学习（STAIL），通过引入不对称的语义整合缓冲区（SCB）和基于大型语言模型的语义锚定机制（LSAM），以最小的存储成本实现对旧任务的密集语义重构。实验结果表明，STAIL在多个医疗数据集上显著提升了模型的持续性能和减少遗忘。

🔬 方法详解

问题定义：本文旨在解决医疗影像分析中的灾难性遗忘问题，现有方法通过重演历史图像来应对，但存在存储开销大和隐私风险等痛点。

核心思路：STAIL框架通过引入不对称的语义整合缓冲区（SCB），结合图像锚点和文本描述，实现对旧任务的密集语义重构，从而减少存储需求。

技术框架：STAIL的整体架构包括两个主要模块：语义整合缓冲区（SCB）和基于大型语言模型的语义锚定机制（LSAM）。SCB负责存储和重构旧任务的语义信息，而LSAM则利用冻结的大型语言模型提供稳定的语义空间作为发展先验。

关键创新：STAIL的核心创新在于引入了不对称的SCB和LSAM机制，前者通过最小化存储成本实现语义重构，后者则通过文本与视觉特征的锚定来指导模型的可塑性与稳定性。

关键设计：在SCB中，采用了最小图像锚点集和丰富的文本描述，确保了旧任务的语义信息能够被有效捕捉和重构。LSAM的设计则依赖于冻结的大型语言模型，以确保语义空间的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个异构医疗数据集上，STAIL显著提升了模型的性能，平均在持续性能（AAA-AUC）上提高了2.24%，在减少遗忘（BWT-AUC）上提高了3.55%。这些结果表明STAIL作为一个高效的插件模块，能够全面增强现有基线模型的表现。

🎯 应用场景

该研究在医疗影像分析领域具有广泛的应用潜力，尤其是在需要不断适应新临床任务的动态环境中。STAIL能够有效减少模型的遗忘，提升医疗影像分析的准确性和可靠性，未来可能推动智能医疗系统的进一步发展。

📄 摘要（原文）

Deep learning models applied to medical image analysis suffer from severe catastrophic forgetting when continually adapting to new clinical tasks in dynamic environments. Mainstream incremental learning methods typically mitigate this by rehearsing raw historical images. However, this pixel-level rehearsal incurs significant storage overhead, raises privacy concerns, and fails to adequately capture the true data distribution with sparse exemplars. Inspired by human cognitive mechanisms, we propose a novel framework termed Semantic Text-Anchored Incremental Learning (STAIL) for sequential clinical tasks. To overcome the rehearsal bottleneck, STAIL introduces an asymmetric semantic consolidation buffer (SCB). By incorporating a minimal set of image anchors and extensive textual descriptions, the SCB enables dense semantic reconstruction of old tasks at a minimal storage cost. Furthermore, we design an LLM-derived Semantic Anchoring Mechanism (LSAM) that leverages the stable semantic space of frozen large language models as developmental priors. This mechanism explicitly anchors evolving visual features to textual representations, guiding and constraining plasticity and stability at both macroscopic and microscopic levels. Extensive experiments across three heterogeneous medical datasets, covering fundus, ultrasound, and X-ray imaging, demonstrate that STAIL acts as a highly effective plug-and-play module. It comprehensively enhances the performance of various existing baselines, achieving average gains of 2.24\% in AAA-AUC for sustained performance and 3.55\% in BWT-AUC for reduced forgetting. Code is available.