PRISM: Pathology Reliability In Scarce-label Medicine. A Tile-level Benchmark of Pathology Foundation Models

📄 arXiv: 2610.36517v1 📥 PDF

作者: Alicem Koyun

分类: cs.LG, cs.CV

发布日期: 2026-10-27

备注: 30 pages (9 main), 21 figures. Accepted at the Third Workshop on GenAI for Health (GenAI4Health) at NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出PRISM以解决病理基础模型在稀缺标签医学中的可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理学 基础模型 稀缺标签 模型评估 温度校准 跨机构转移 数据集 机器学习

📋 核心要点

  1. 现有病理基础模型的评估主要集中在全标签可用的分类性能，缺乏对低标签预算和跨机构转移的综合评估。
  2. PRISM通过tile级基准测试，联合评估模型选择、标签比例、校准和分布外转移，提供了一个全面的评估框架。
  3. 实验结果显示，在低标签比例下模型性能显著下降，并且不同数据集的表现存在显著差异，揭示了模型在实际应用中的局限性。

📝 摘要（中文）

病理基础模型通常在全标签可用和分布内测试集上进行基准测试，而在低标签预算下的校准、行为及跨机构转移的鲁棒性评估则较少被联合考虑。我们提出PRISM，一个在四个维度上评估病理基础模型可靠性的tile级基准：模型选择、标签比例、校准和分布外转移。PRISM对八个基础模型在六个tile级数据集上进行评估，标签比例从1%到100%，并扩展了一个包含五家医院的Camelyon17研究。研究发现了四个现象，包括在全监督下AUROC排名与后温度校准排名的一致性，以及在低标签比例下模型性能的变化等。

🔬 方法详解

问题定义：本论文旨在解决病理基础模型在稀缺标签情况下的可靠性评估问题。现有方法主要关注全标签可用的分类性能，缺乏对低标签预算和跨机构转移的综合评估，导致模型在实际应用中的表现不佳。

核心思路：PRISM通过tile级基准测试，联合评估模型选择、标签比例、校准和分布外转移，提供了一个全面的评估框架。通过对八个基础模型在不同标签比例下的表现进行分析，揭示了模型在低标签情况下的行为特征。

技术框架：PRISM的整体架构包括数据集准备、模型选择、评估指标计算和结果分析四个主要模块。首先，准备六个tile级数据集，并对八个基础模型进行训练和评估。然后，计算不同标签比例下的AUROC和ECE等评估指标。

关键创新：PRISM的主要创新在于其tile级评估方法，能够在不同标签比例和数据集上综合评估模型的可靠性。这与现有方法的单一评估维度形成鲜明对比，提供了更全面的性能分析。

关键设计：在实验中，使用了多种标签比例（1%到100%）和不同的随机种子进行多次实验，以确保结果的稳健性。同时，采用温度缩放等技术来校准模型输出，并分析其在不同条件下的表现。实验结果显示，温度缩放在某些情况下未能有效降低ECE，且模型的过度自信现象普遍存在。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在全监督下AUROC排名与后温度校准排名的一致性较高，而在1%标签时表现则变得数据集特异。此外，模型在低标签比例下的性能显著下降，尤其是在较难的数据集上，线性探测器的预测类数减少至单一类别，揭示了模型的局限性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、病理诊断和临床决策支持等。通过提供一个可靠的评估框架，PRISM可以帮助研究人员和临床医生更好地理解和应用病理基础模型，提升模型在稀缺标签情况下的实际应用价值。未来，随着数据集和模型的不断丰富，PRISM有望成为病理学领域标准的评估工具。

📄 摘要（原文）

Pathology foundation models are typically benchmarked on classification performance at full label availability and on in-distribution test sets, while calibration, behavior at low label budgets, and robustness under cross-institutional shift are seldom evaluated jointly. We introduce PRISM, a tile-level benchmark that measures the reliability of pathology foundation models along four axes: model choice, label fraction, calibration, and out-of-distribution transfer. PRISM evaluates eight foundation models (CLIP, PLIP, CONCH, UNI, Virchow2, GigaPath, H-Optimus-0, Midnight) on six tile-level datasets at six label fractions (1% to 100%) with three seeds (864 linear probe runs), extended with a five-hospital Camelyon17 study of 20 directed transfer pairs. Four phenomena emerge. (i) Under full supervision, AUROC rank predicts post-temperature calibration rank consistently across datasets (Spearman rho = 0.52, I^2 = 0%), whereas at 1% labels the relationship becomes dataset-specific (rho = -0.24, I^2 = 67%). (ii) On harder datasets the linear probe collapses to a single predicted class below a dataset-specific label fraction. (iii) Whether additional source-domain labels help or harm target calibration tracks how well the probe transfers: below a transfer AUROC of roughly 0.85, more labels worsen target ECE in 86-88% of combinations. (iv) Temperature scaling fails to reduce ECE in 49 of 288 cells, miscalibration is predominantly under-confidence, and a source-fitted temperature is harmful under failing transfer. PRISM is released as a pip-installable package with reference results for all 288 cells. Code and data: https://github.com/alicemkyn/prism-benchmark