Feature Re-Embedding: Towards Foundation Model-Level Performance in Computational Pathology

📄 arXiv: 2402.17228v4 📥 PDF

作者: Wenhao Tang, Fengtao Zhou, Sheng Huang, Xiang Zhu, Yi Zhang, Bo Liu

分类: cs.CV

发布日期: 2024-02-27 (更新: 2024-07-25)

备注: Accepted by CVPR2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出R$^2$T以解决计算病理学中MIL模型适应性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多实例学习 计算病理学 特征重嵌入 深度学习 医学影像分析

📋 核心要点

  1. 现有的MIL方法依赖于离线特征提取器，缺乏在特定任务中的特征微调能力，限制了模型的适应性和性能。
  2. 本文提出的R$^2$T模块能够在线重嵌入实例特征，捕捉细粒度局部特征并建立区域间联系，增强模型的灵活性。
  3. 实验结果显示，R$^2$T显著提升了MIL模型的性能，尤其是R$^2$T-MIL在多个任务中超越了最新方法，提升幅度显著。

📝 摘要（中文）

多实例学习（MIL）是计算病理学中广泛使用的框架，涵盖亚型分类、诊断和预后等任务。然而，现有的MIL方法通常依赖于离线实例特征提取器，如预训练的ResNet或基础模型，缺乏在特定下游任务中的特征微调能力，限制了其适应性和性能。为了解决这一问题，本文提出了一种在线重嵌入实例特征的R$^2$T模块，能够捕捉细粒度的局部特征并建立不同区域之间的联系。实验结果表明，R$^2$T显著提升了基于ResNet-50特征的MIL模型性能，达到基础模型特征水平，并进一步增强了基础模型特征的表现。

🔬 方法详解

问题定义：本文旨在解决计算病理学中多实例学习（MIL）模型在特征提取和微调方面的不足，现有方法通常依赖于固定的离线特征提取器，导致适应性差。

核心思路：提出R$^2$T模块，通过在线重嵌入实例特征，捕捉细粒度局部特征，增强模型在特定任务中的表现。该设计使得特征可以根据下游任务动态调整，提高了模型的灵活性和性能。

技术框架：R$^2$T模块集成于主流MIL模型中，主要包括特征重嵌入、局部特征捕捉和区域间联系建立三个阶段。该模块可以与现有的MIL架构无缝结合，形成一个可移植的解决方案。

关键创新：R$^2$T的核心创新在于其在线重嵌入特征的能力，与传统的离线特征提取方法相比，能够在特定任务中实现更高的适应性和性能提升。

关键设计：R$^2$T模块的设计包括特征重嵌入的算法、损失函数的优化以及网络结构的调整，确保在不同的MIL模型中都能有效提升性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，R$^2$T模块显著提升了基于ResNet-50特征的MIL模型性能，使其达到基础模型特征水平，且在多个任务中，R$^2$T-MIL的表现超越了其他最新方法，提升幅度达到显著水平。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在医学影像分析、肿瘤检测和疾病预后等领域。通过提升MIL模型的性能，R$^2$T模块能够帮助临床医生更准确地进行诊断和决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multiple instance learning (MIL) is the most widely used framework in computational pathology, encompassing sub-typing, diagnosis, prognosis, and more. However, the existing MIL paradigm typically requires an offline instance feature extractor, such as a pre-trained ResNet or a foundation model. This approach lacks the capability for feature fine-tuning within the specific downstream tasks, limiting its adaptability and performance. To address this issue, we propose a Re-embedded Regional Transformer (R$^2$T) for re-embedding the instance features online, which captures fine-grained local features and establishes connections across different regions. Unlike existing works that focus on pre-training powerful feature extractor or designing sophisticated instance aggregator, R$^2$T is tailored to re-embed instance features online. It serves as a portable module that can seamlessly integrate into mainstream MIL models. Extensive experimental results on common computational pathology tasks validate that: 1) feature re-embedding improves the performance of MIL models based on ResNet-50 features to the level of foundation model features, and further enhances the performance of foundation model features; 2) the R$^2$T can introduce more significant performance improvements to various MIL models; 3) R$^2$T-MIL, as an R$^2$T-enhanced AB-MIL, outperforms other latest methods by a large margin.The code is available at: https://github.com/DearCaat/RRT-MIL.