PathoTune: Adapting Visual Foundation Model to Pathological Specialists

📄 arXiv: 2403.16497v2 📥 PDF

作者: Jiaxuan Lu, Fang Yan, Xiaofan Zhang, Yue Gao, Shaoting Zhang

分类: cs.CV, cs.LG

发布日期: 2024-03-25 (更新: 2024-07-15)

备注: MICCAI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出PathoTune以解决病理图像任务适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理图像分析 多模态提示调优 视觉基础模型 下游任务适应 医学影像处理

📋 核心要点

  1. 现有方法主要集中在病理基础模型的预训练，缺乏对下游任务适应性的研究，导致Foundation-Task Gap和Task-Instance Gap。
  2. PathoTune框架通过多模态提示调优，结合任务特定和实例特定的视觉及文本提示，有效识别和编码病理图像特征。
  3. 在多个数据集上，PathoTune在补丁级和WSI级别的表现均优于单模态提示调优方法，显著提升了适应性和性能。

📝 摘要（中文）

随着自然图像理解向预训练-微调时代发展，病理成像研究也在不断演进。尽管病理基础模型的预训练受到广泛关注，但如何将这些模型适应于下游任务的研究仍然较少。为此，本文提出了PathoTune框架，旨在通过多模态提示调优有效适应病理特定任务。该框架利用任务特定的视觉和文本提示来识别与任务相关的特征，并通过实例特定的视觉提示编码单个病理图像特征。实验结果表明，PathoTune在多个数据集上表现优于单模态提示调优方法，显著提升了自然视觉基础模型在病理任务中的适应性。

🔬 方法详解

问题定义：本文旨在解决病理图像任务中基础模型适应性不足的问题，现有方法未能有效缩小Foundation-Task Gap和Task-Instance Gap，限制了模型在特定任务中的表现。

核心思路：PathoTune框架通过引入多模态提示调优，结合任务特定和实例特定的视觉及文本提示，旨在高效识别与任务相关的特征，从而提升模型在病理任务中的适应性。

技术框架：该框架包括三个主要模块：任务特定视觉提示、任务特定文本提示和实例特定视觉提示。任务特定提示用于识别任务相关特征，而实例特定提示则用于编码单个病理图像的特征。

关键创新：PathoTune的核心创新在于其多模态提示调优策略，能够直接将自然视觉基础模型适应于病理任务，显著优于传统的线性探测方法，尤其是在处理复杂病理图像时。

关键设计：在设计过程中，PathoTune采用了特定的损失函数和网络结构，以优化任务特定和实例特定提示的效果，确保模型能够有效学习到病理图像的关键特征。通过这些设计，PathoTune在多个数据集上实现了显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上，PathoTune在补丁级和WSI级别的表现均显著优于单模态提示调优方法，尤其是在自然视觉基础模型的直接适应性上，性能提升幅度超过了传统病理基础模型的线性探测方法，展现出其强大的适应能力和有效性。

🎯 应用场景

PathoTune框架具有广泛的应用潜力，特别是在医学影像分析、病理诊断和临床决策支持等领域。通过提高病理图像分析的准确性和效率，该研究能够为病理学家提供更为精准的辅助工具，推动个性化医疗的发展。未来，该框架还可能扩展到其他医学图像领域，进一步提升模型的适应性和应用价值。

📄 摘要（原文）

As natural image understanding moves towards the pretrain-finetune era, research in pathology imaging is concurrently evolving. Despite the predominant focus on pretraining pathological foundation models, how to adapt foundation models to downstream tasks is little explored. For downstream adaptation, we propose the existence of two domain gaps, i.e., the Foundation-Task Gap and the Task-Instance Gap. To mitigate these gaps, we introduce PathoTune, a framework designed to efficiently adapt pathological or even visual foundation models to pathology-specific tasks via multi-modal prompt tuning. The proposed framework leverages Task-specific Visual Prompts and Task-specific Textual Prompts to identify task-relevant features, along with Instance-specific Visual Prompts for encoding single pathological image features. Results across multiple datasets at both patch-level and WSI-level demonstrate its superior performance over single-modality prompt tuning approaches. Significantly, PathoTune facilitates the direct adaptation of natural visual foundation models to pathological tasks, drastically outperforming pathological foundation models with simple linear probing. The code is available at https://github.com/openmedlab/PathoDuet.