DistillPath: An Efficient 22M Distilled Pathology Encoder Approaching Large Foundation Model Performance
作者: Ramon Kaspar, Andrey Ignatov, Valentina Boeva
分类: cs.CV
发布日期: 2026-08-18
备注: 26 pages, 5 figures. Accepted at the ECCV 2026 Workshop on Medical Foundation Models and Benchmarks (MedFM-Bench)
🔗 代码/项目: GITHUB | HUGGINGFACE
💡 一句话要点
提出DistillPath以高效编码病理图像，接近大型基础模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 病理图像 模型蒸馏 高效编码器 计算机视觉 医学影像
📋 核心要点
- 现有的病理切片编码器通常参数庞大，导致在普通硬件上处理成本高昂。
- 论文提出DistillPath-KS16，通过蒸馏多个病理编码器的知识，构建一个高效的22M参数编码器。
- 实验结果表明，DistillPath-KS16在多个基准测试中表现优异，且运行速度比大型模型快25倍以上。
📝 摘要（中文）
许多高性能的病理切片编码器现在是具有数亿到超过十亿参数的基础模型。在普通硬件上编码和存储每个全幻灯片图像中的成千上万的切片是昂贵的，因此保留有用下游性能的紧凑编码器是一种有价值的替代方案。我们提出了DistillPath-KS16，它基于现有的2200万参数的kaiko ViT-S/16编码器，并通过从已发布的病理编码器中蒸馏进行改进。该方法仅读取教师模型的最终类别和补丁标记，并在6000个公共幻灯片上进行训练，无需其DINO或iBOT预训练头，也不需要十亿切片的语料库，因此适用于任何公开的暴露骨干标记的编码器。我们将四个参数范围从8600万到11亿的教师模型蒸馏到同一学生模型中。每个变体在我们使用的三个基准EVA、HEST和PLISM上均改善了kaiko基线。
🔬 方法详解
问题定义：本论文旨在解决现有病理切片编码器在存储和计算上的高成本问题。传统的基础模型通常参数过多，导致在普通硬件上难以高效运行。
核心思路：论文提出的DistillPath-KS16通过从多个已发布的病理编码器中蒸馏知识，构建一个参数更少但性能接近的编码器。该方法仅依赖教师模型的最终输出，避免了复杂的预训练过程。
技术框架：整体架构包括从多个教师模型中提取知识，并将其应用于一个22M参数的学生模型。训练过程中，使用6000个公共幻灯片进行微调，以优化学生模型的性能。
关键创新：最重要的创新在于通过蒸馏技术有效地压缩模型参数，同时保持较高的下游任务性能。这种方法与传统的全模型训练方式本质上不同，显著降低了计算和存储需求。
关键设计：在设计中，选择了合适的损失函数以确保蒸馏过程的有效性，并优化了网络结构以适应22M参数的限制。模型的特征维度设置为384，以平衡性能与效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DistillPath-KS16-Virchow2在七任务EVA均值上达到了0.795，距离顶尖模型Virchow2仅有0.015的差距，同时参数量减少约29倍。此外，该模型在多个基准测试中超越了H0-mini和GPFM，尽管这种优势在不同任务间并不均匀分布。
🎯 应用场景
该研究的潜在应用领域包括医学图像分析、病理学研究和临床诊断等。通过提供高效的编码器，能够在资源有限的环境中实现高性能的病理图像处理，提升医疗影像分析的效率和准确性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Many high-performing pathology tile encoders are now foundation models with hundreds of millions to over a billion parameters. Encoding and storing the thousands of tiles in each whole-slide image with such models is costly on commodity hardware, so compact encoders that retain useful downstream performance are a valuable alternative. We present DistillPath-KS16, which starts from the existing 22M kaiko ViT-S/16 encoder and improves it by distilling from released pathology encoders used as frozen teachers. The recipe reads only the teachers' final class and patch tokens and trains on 6,000 public slides, needing neither their DINO nor iBOT pretraining heads nor a billion-tile corpus, so it applies to any released encoder that exposes backbone tokens. We distill four teachers spanning 86M to 1.1B parameters into the same student. Every variant improves the kaiko baseline on all three benchmarks we use, EVA, HEST, and PLISM, and the strongest teacher is task-dependent. On the seven-task EVA mean, DistillPath-KS16-Virchow2 reaches $0.795$, within $0.015$ points of Virchow2, the top-scoring model in our evaluation, at about $29\times$ fewer parameters; it also scores above H0-mini and GPFM on this aggregate metric, though that advantage is task-concentrated rather than uniform. Because it remains a 22M ViT-S/16 with 384-dimensional features, DistillPath-KS16 runs more than $25\times$ faster than Virchow2. Code is available at https://github.com/RamonKaspar/DistillPath, and released model weights are available at https://huggingface.co/collections/RamonK/distillpath.