Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

📄 arXiv: 2607.28007v1 📥 PDF

作者: Sweta Banerjee, Alireza Teimoury, Nils Porsche, Alexandra K. Stoll, Viktoria Weiss, Niklas Hargarter, Jonas Ammeling, Thomas Conrad, Christoph Stroblberger, Christopher Kaltnecker, Robert Klopfleisch, Christof A. Bertram, Katharina Breininger, Marc Aubreville

分类: cs.CV, cs.AI

发布日期: 2026-07-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出病理基础模型作为有丝分裂图像检测编码器

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理基础模型 有丝分裂检测 密集目标检测 深度学习 医学图像分析 自动化诊断

📋 核心要点

  1. 现有的病理基础模型在密集目标检测中的适用性尚不明确，尤其是对有丝分裂图像的检测能力。
  2. 本文通过结合病理基础模型与多种检测器，探讨其在有丝分裂图像检测中的有效性，提出新的检测框架。
  3. 实验结果显示，H-optimus-0和Virchow模型在多域数据集上的表现优于传统方法，验证了其潜在的应用价值。

📝 摘要（中文）

病理基础模型（FMs）是基于大量未标记数据训练的模型，已被证明在下游分类任务中表现良好。然而，目前尚不清楚这些模型的潜在空间是否适合用于密集目标检测。本文研究了多种病理基础模型在有丝分裂图像检测中的表现，并与基于ResNet50的端到端训练基线进行了比较。结果表明，H-optimus-0和Virchow模型在检测性能上具有竞争力，尤其在跨域测试中表现出更强的鲁棒性。所有代码已公开发布。

🔬 方法详解

问题定义：本文旨在解决病理基础模型在有丝分裂图像检测中的有效性问题。现有方法主要集中在分类任务，缺乏对密集目标检测的深入研究。

核心思路：通过将病理基础模型作为编码器，与多种检测器相结合，探索其在有丝分裂图像检测中的应用潜力，旨在提高检测的准确性和鲁棒性。

技术框架：整体架构包括病理基础模型（如H-optimus-0、Virchow等）与单阶段、双阶段及自注意力检测器（如RetinaNet、Faster R-CNN、Deformable DETR）的结合，使用MIDOG++和TUPAC16数据集进行训练和评估。

关键创新：本研究的创新点在于首次将病理基础模型应用于有丝分裂图像的密集目标检测，展示了其潜在的有效性和鲁棒性，与传统方法相比具有显著优势。

关键设计：在模型设计中，采用了多种检测器架构，结合了不同的损失函数和参数设置，以优化检测性能，确保模型在多域数据集上的适应性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，H-optimus-0和Virchow模型在有丝分裂图像检测中表现出色，尤其在跨域测试中，性能与基于ResNet50的基线相比具有明显提升，验证了病理基础模型的有效性。

🎯 应用场景

该研究的潜在应用领域包括医学图像分析、病理学自动化诊断和癌症检测等。通过提高有丝分裂图像的检测准确性，能够为临床病理学提供更为可靠的辅助工具，推动智能医疗的发展。

📄 摘要（原文）

Pathology foundation models (FMs) are models trained on vast amounts of typically unlabeled data and have been shown to yield regularized latent spaces that can be used effectively in downstream classification tasks. This is also true for the classification of mitotic figures vs. other cells. However, it is so far unclear if the latent space of current FMs provides features that are discriminant and spatially suitably resolved to also serve as a backbone for dense object detection paradigms. In this work, we investigate this question for common current pathology FMs (UNI, UNI2-h, Virchow, Virchow2, H-optimus-0, H-optimus-1) and compare their performance against a fully end-to-end trained baseline based on a ResNet50 architecture. We combine FM backbones with representatives of single stage, dual stage and self-attention-based detectors (RetinaNet, Faster R-CNN, Deformable DETR respectively) on the multi-domain MIDOG++ dataset, and on the TUPAC16 dataset as an out-of-domain case. We show that the H-optimus-0 and Virchow models yielded competitive performance, indicating that the latent spaces of current FMs, all trained on image-level self-supervision, are suitable for direct mitotic figure detection and may be slightly more robust on our out-of-domain test case. All code is made available publicly at https://github.com/DeepMicroscopy/FM4MFdet.