TAP-Path: Task-Adaptive Structural and Token Pruning for Efficient and Trustworthy Pathology Foundation Models

📄 arXiv: 2609.04071v1 📥 PDF

作者: Mehedi Hasan, Ashfak Yeafi, Md Khairul Islam

分类: cs.CV, cs.AI

发布日期: 2026-09-03

💡 一句话要点

提出TAP-Path以提升病理基础模型的效率与可靠性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理学 模型压缩 任务自适应 变换器 深度学习 图像分析 高效推理

📋 核心要点

  1. 现有的病理基础模型通常依赖于庞大的编码器，导致推理成本高且效率低下。
  2. TAP-Path通过任务自适应的结构和标记剪枝，直接重构预训练的Virchow2编码器，提升模型效率。
  3. 实验结果显示，TAP-Path在多个任务上实现了显著的性能提升，准确率达到87.98%，并在外部评估中表现优异。

📝 摘要（中文）

病理基础模型在组织病理学的可转移表示学习中表现出色，但现有方法往往依赖于数亿参数的编码器，导致推理成本高。本文提出TAP-Path，一个任务自适应压缩框架，直接重构预训练的Virchow2编码器，而不是将其蒸馏为单独的学生模型。TAP-Path结合了基于验证的变换器块选择、冗余块的物理移除、输入自适应的补丁-标记剪枝、多深度特征恢复和轻量级门控任务头。最终模型在剪枝后保留了32个变换器块中的24个和70%的补丁标记，编码器参数减少了24.96%，计算量降低了35.20%。在32类病理基准测试中，TAP-Path的测试准确率为87.98%。

🔬 方法详解

问题定义：当前病理基础模型在推理时面临高计算成本和低效率的问题，尤其是依赖于数亿参数的编码器。

核心思路：TAP-Path提出了一种任务自适应的压缩框架，通过直接重构预训练的Virchow2编码器，避免了传统蒸馏方法的复杂性，旨在提升模型的效率和可靠性。

技术框架：TAP-Path的整体架构包括验证驱动的变换器块选择、冗余块的物理移除、输入自适应的补丁-标记剪枝、多深度特征恢复和轻量级门控任务头等模块。

关键创新：该方法的主要创新在于通过任务自适应的结构和标记剪枝，显著减少了模型参数和计算量，同时保持了模型的准确性和可靠性。

关键设计：在设计中，模型最终保留了32个变换器块中的24个和70%的补丁标记，编码器参数减少了24.96%，计算量降低了35.20%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TAP-Path在32类病理基准测试中达到了87.98%的测试准确率，相较于完整的Virchow2模型（86.89%）和UNI2-h（87.67%）有显著提升。此外，在433个CPTAC样本的外部评估中，准确率达到91.22%，显示出其优越的性能。

🎯 应用场景

TAP-Path的研究成果在医学影像分析、病理诊断等领域具有广泛的应用潜力。通过提高病理基础模型的效率和可靠性，该方法能够帮助医生更快速、准确地进行疾病诊断，从而提升临床决策的质量和效率。

📄 摘要（原文）

Pathology foundation models improve transferable representation learning for histopathology, but recent gains often rely on encoders with hundreds of millions of parameters and high inference cost. We propose TAP-Path, a task-adaptive compression framework that directly restructures a pretrained Virchow2 encoder rather than distilling it into a separate student. TAP-Path combines validation-driven transformer-block selection, physical removal of redundant blocks, input-adaptive patch-token pruning, multi-depth feature recovery, and a lightweight gated task head. The final model retains 24 of 32 transformer blocks and 70% of patch tokens after pruning, reducing encoder parameters by 24.96% (631.24M to 473.70M) and analytical encoder compute by 35.20% (340.13G to 220.40G FLOPs). Across three task-head optimization seeds, TAP-Path achieved $87.98 \pm 0.067%$ test accuracy, $81.26 \pm 0.49%$ balanced accuracy, and $82.38 \pm 0.48%$ macro-F1 on a 32-class histopathology benchmark, compared with 86.89% for full Virchow2 and 87.67% for UNI2-h. TAP-Path achieved a Brier score of $0.1800 \pm 0.0005$ and failure-detection AUROC of $0.9047 \pm 0.0060$. A validation-only rare-aware objective improved rare-class balanced accuracy in a secondary operating analysis. Frozen external evaluation on 433 CPTAC samples yielded $91.22 \pm 0.83%$ accuracy and $91.10 \pm 0.81%$ balanced accuracy. These results show that task-adaptive structural and token sparsification can improve the accuracy-efficiency trade-off of large pathology foundation models while preserving reliability under internal and external evaluation.