Morphology signal in whole slide image foundation models can automatically triage slides

📄 arXiv: 2609.01987v1 📥 PDF

作者: Ayushi Sinha, Shashank Yadav, Benjamin Holmes, Pravat Das, Aaron W. Bogan, James S. Lewis, Santiago Romero-Brufau, Andrew Y. K. Foong, Scott H. Kaufmann, Kathryn M. Van Abel, David M. Routman, Michael R. Lucas

分类: cs.CV, cs.LG

发布日期: 2026-09-02

备注: 12 pages, 3 figures, 4 tables

💡 一句话要点

提出基于形态信号的模型以自动筛选全切片图像

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全切片图像 肿瘤筛选 自动化诊断 机器学习 病理学 形态信号 零样本分类

📋 核心要点

  1. 现有方法在训练模型时，通常需要病理学家手动筛选出包含肿瘤的切片，过程繁琐且耗时。
  2. 本文提出了一种基于公开WSI基础模型的自动化流程，通过零样本分类对切片进行排名，从而实现自动筛选。
  3. 实验结果表明，在多个数据集中，肿瘤切片能够在最多43个切片的患者中被准确识别为排名前2的切片。

📝 摘要（中文）

在癌症诊断和分期过程中，患者检查通常会生成多个全切片图像（WSIs）。训练模型时，识别包含肿瘤或其他诊断生物标志物的切片是关键步骤，然而这一过程通常需要经验丰富的病理学家进行繁琐的人工筛选。本文提出了一种利用公开可用的WSI基础模型（FMs）来克服这些挑战的流程。评估结果表明，基于WSI FMs的零样本分类预测对切片进行排名，可以准确识别出肿瘤含量最高的切片，表明WSI FMs包含足够的形态信号以实现自动筛选。我们还提出了一种排名评估的公式，以基准FM在切片筛选中的表现。多项数据集的结果显示，肿瘤切片在最多43个切片的患者中能够被识别为排名前2的切片。

🔬 方法详解

问题定义：本文旨在解决在癌症诊断过程中，手动筛选全切片图像（WSIs）所带来的高成本和低效率问题。现有方法往往假设每位患者只有一张切片，或使用所有切片进行训练，导致重要信息的稀释。

核心思路：论文提出利用WSI基础模型（FMs）进行零样本分类，通过对切片进行排名，自动识别出含有肿瘤的切片，从而减少人工干预。

技术框架：整体流程包括数据预处理、模型训练、零样本分类和切片排名四个主要模块。首先，利用公开的WSI FMs进行特征提取，然后对切片进行分类和排序。

关键创新：最重要的创新在于利用WSI FMs的形态信号进行切片自动筛选，显著提高了筛选效率，与传统方法相比，减少了对人工筛选的依赖。

关键设计：在模型设计中，采用了特定的损失函数以优化切片分类效果，并通过调整模型参数来增强对肿瘤特征的敏感性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在多个数据集上，肿瘤切片能够在最多43个切片的患者中被准确识别为排名前2的切片，表明该方法在切片筛选中的有效性和准确性，显著优于传统的手动筛选方法。

🎯 应用场景

该研究的潜在应用领域包括癌症诊断、病理学图像分析和医疗影像处理等。通过自动化切片筛选，可以显著提高病理学家的工作效率，减少人为错误，并为后续的临床决策提供更为准确的依据，具有重要的实际价值和未来影响。

📄 摘要（原文）

Patient exams in the cancer diagnosis and staging process typically generate several whole slide images (WSIs). One of the initial steps in training models on WSI data is identifying one or a few slides containing tumor or other diagnostic biomarkers necessary for downstream prediction tasks such as estimating recurrence risk or progression-free survival. This step requires tedious manual curation by experienced pathologists. Many published datasets make the artificial assumption of 1 slide per patient. Alternatively, all slides per patient may be used for model training, which may dilute the signal from the few slides containing tumor or other relevant information. In this paper, we present a pipeline to overcome these challenges using publicly available WSI foundation models (FMs). Our evaluations show that ranking WSIs based on predictions from zero-shot classification using WSI FMs accurately identifies slides with the most tumor, indicating that WSI FMs contain sufficient morphology signal to automatically triage slides. We also present a formulation for ranked evaluation to benchmark FM performance in slide triage. We show, on multiple datasets, that tumor slides are identified in the top-2 ranked slides for patients with up to 43 slides.