Vim4Path: Self-Supervised Vision Mamba for Histopathology Images

📄 arXiv: 2404.13222v2 📥 PDF

作者: Ali Nasiri-Sarvi, Vincent Quoc-Huy Trinh, Hassan Rivaz, Mahdi S. Hosseini

分类: eess.IV, cs.CV

发布日期: 2024-04-20 (更新: 2024-05-26)

备注: Accepted in CVPR2024 (9th Workshop on Computer Vision for Microscopy Image Analysis)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Vim4Path以解决组织病理图像表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 计算病理学 多实例学习 特征提取 模型评估 视觉变换器 组织病理图像

📋 核心要点

  1. 现有的多实例学习和自监督学习方法在处理复杂的组织病理图像时，受限于特征编码器的架构，导致性能不佳。
  2. 本文提出了一种新的Vim架构，结合DINO框架，旨在提升计算病理学中的表示学习效果，特别是在小规模模型中。
  3. 实验结果表明，Vim在Camelyon16数据集上相较于ViT有显著提升，尤其是在小规模模型中，ROC AUC提升达8.21。

📝 摘要（中文）

从Gigapixel全切片图像（WSI）中进行表示学习在计算病理学中面临重大挑战，主要由于组织结构复杂和标注数据稀缺。多实例学习方法利用图像块进行分类，结合自监督学习（SSL）方法来应对这一挑战。本文提出在DINO框架下利用受状态空间模型启发的Vision Mamba（Vim）架构进行计算病理学中的表示学习。通过在Camelyon16数据集上对Vim与视觉变换器（ViT）进行评估，结果显示Vim在小规模模型中表现优越，ROC AUC提升8.21，且Vim的可解释性分析表明其更好地模拟了病理学家的工作流程，显示出在实际诊断中的潜力。

🔬 方法详解

问题定义：本文旨在解决从复杂的组织病理图像中进行有效表示学习的问题。现有方法在特征编码器架构上存在不足，导致在数据稀缺的情况下性能受限。

核心思路：提出的Vim架构灵感来源于状态空间模型，结合DINO框架进行自监督学习，旨在提高对组织病理图像的表示能力，特别是在小规模模型中。

技术框架：整体架构包括数据预处理、特征提取、模型训练和评估四个主要模块。数据预处理阶段对WSI进行切片，特征提取阶段使用Vim架构，模型训练阶段应用自监督学习策略，最后通过评估模块验证模型性能。

关键创新：Vim架构的最大创新在于其设计理念与病理学家工作流程的高度一致性，这使得模型在解释性和实际应用中具有优势，区别于传统的ViT架构。

关键设计：在网络结构上，Vim采用了特定的层次设计和损失函数，优化了特征提取过程，确保在小规模数据集上也能实现高效的学习和分类。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Vim在Camelyon16数据集上相较于ViT在小规模模型中表现出色，ROC AUC提升8.21，且在可解释性分析中，Vim更好地模拟了病理学家的工作流程，显示出其在实际应用中的潜力。

🎯 应用场景

该研究在计算病理学领域具有广泛的应用潜力，能够帮助病理学家更高效地分析组织切片，提升诊断的准确性和效率。未来，该方法可能在临床诊断、疾病预测和个性化医疗等方面发挥重要作用。

📄 摘要（原文）

Representation learning from Gigapixel Whole Slide Images (WSI) poses a significant challenge in computational pathology due to the complicated nature of tissue structures and the scarcity of labeled data. Multi-instance learning methods have addressed this challenge, leveraging image patches to classify slides utilizing pretrained models using Self-Supervised Learning (SSL) approaches. The performance of both SSL and MIL methods relies on the architecture of the feature encoder. This paper proposes leveraging the Vision Mamba (Vim) architecture, inspired by state space models, within the DINO framework for representation learning in computational pathology. We evaluate the performance of Vim against Vision Transformers (ViT) on the Camelyon16 dataset for both patch-level and slide-level classification. Our findings highlight Vim's enhanced performance compared to ViT, particularly at smaller scales, where Vim achieves an 8.21 increase in ROC AUC for models of similar size. An explainability analysis further highlights Vim's capabilities, which reveals that Vim uniquely emulates the pathologist workflow-unlike ViT. This alignment with human expert analysis highlights Vim's potential in practical diagnostic settings and contributes significantly to developing effective representation-learning algorithms in computational pathology. We release the codes and pretrained weights at \url{https://github.com/AtlasAnalyticsLab/Vim4Path}.