Frozen Foundation-Model Embeddings Discard Small-Lesion Signal in Chest Radiography: Implications for Pre-Deployment Evaluation

📄 arXiv: 2606.11606v1 📥 PDF

作者: Raajitha Muthyala, Zhenan Yin, Alekhya Jilla, Frank Li, Theo Dapamede, Bardia Khosravi, Mohammadreza Chavoshi, Judy Gichoya, Saptarshi Purkayastha

分类: cs.CV

发布日期: 2026-06-10

💡 一句话要点

提出冻结基础模型嵌入以解决胸部放射影像小病灶信号丢失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胸部放射影像 小病灶检测 视觉变换器 深度学习 医学影像分析 信号恢复 模型评估

📋 核心要点

  1. 现有的冻结ViT模型在处理小病灶信号时存在信号丢失的问题，影响了胸部放射影像的诊断效果。
  2. 论文提出通过区域感知的补丁令牌来恢复小病灶信号，改善了模型在小病灶检测中的表现。
  3. 实验结果显示，使用补丁局部聚合的模型在小病灶检测任务中AUC提升显著，达到了接近1.0的性能。

📝 摘要（中文）

冻结的视觉变换器（ViT）基础模型嵌入在下游胸部放射影像（CXR）管道中越来越多地被使用，但在冻结前向传播中小规模、低对比度信号的保留或丢失尚未系统量化。本文探讨了五种冻结的ViT模型及一个ResNet-50控制模型在多个CXR数据集上的表现，评估了不同聚合模式对小病灶信号的影响。实验结果表明，冻结的ViT嵌入在全局聚合步骤中无声地抑制了小规模信号，但可以通过区域感知的补丁令牌恢复。

🔬 方法详解

问题定义：本文旨在解决冻结ViT模型在胸部放射影像中对小病灶信号的抑制问题，现有方法在小规模、低对比度信号的保留上存在不足。

核心思路：通过对不同聚合模式的比较，论文提出使用区域感知的补丁令牌来恢复小病灶信号，从而提高模型的诊断能力。

技术框架：研究中使用了五种冻结的ViT模型和一个ResNet-50控制模型，评估了它们在多个CXR数据集上的表现，采用了小规模扰动面板和区域感知的边界框分层探测。

关键创新：最重要的创新在于通过补丁局部聚合恢复小病灶信号，显著提高了模型在小病灶检测任务中的表现，与传统全局聚合方法形成鲜明对比。

关键设计：在实验中，使用了三种聚合模式（分类令牌、补丁均值和边界框限制补丁局部），并通过对比分析不同模型在小病灶检测中的AUC表现，优化了模型的参数设置。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，使用补丁局部聚合的模型在小病灶检测任务中AUC达到了接近1.0的性能，而传统的分类令牌聚合仅在0.500-0.524之间，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、辅助诊断系统和放射科医生的决策支持工具。通过提高小病灶的检测能力，能够更早地发现疾病，改善患者的预后，具有重要的临床价值和社会影响。

📄 摘要（原文）

Frozen vision-transformer (ViT) foundation-model embeddings increasingly serve as the substrate for downstream chest-radiography (CXR) pipelines, yet where small-scale, low-contrast signal is retained or lost in the frozen forward pass has not been systematically quantified across architectures, pretraining domains, and objectives. We probed five frozen ViTs (RAD-DINO, DINOv2-B/14, DINOv3 ViT-7B, BiomedCLIP, MedSigLIP) and a frozen DINO-pretrained ResNet-50 architectural control across three large CXR cohorts (NIH-CXR14, MIMIC-CXR, Emory-CXR; aggregate pool n=492,724) and ChestX-Det10 (n=3,543; 1,462 small-lesion bounding boxes across Calcification, Nodule, Mass). Each model was evaluated with a small-scale-perturbation panel and a region-aware bounding-box-stratified probe on real lesions, comparing three pooling modes from the same forward pass: classification token (CLS), patch-mean (mean over all final-layer patch tokens), and bounding-box-restricted patch-local. On the perturbation panel, CLS embeddings sat at the chance floor (area under the ROC curve [AUC] 0.500-0.524); patch-mean was indistinguishable from CLS on iso-blur and reticular-fine cells but rose with CLS on larger directional-blur footprints, while disease AUC on globally decided tasks ranged 0.642-0.913. Patch-local probes recovered AUC ~1.0 from the same forward pass (per-model mean improvement +0.412 to +0.488); the ResNet-50 control reproduced the chance floor. On ChestX-Det10, image-level CLS classification showed within-class small-versus-large stratum gaps up to +0.243 AUC; bounding-box-level patch-local pooling on the same forward pass recovered AUC >= 0.899 on every (model x class) cell. Frozen ViT embeddings silently suppress small-scale signal at the global-aggregation step; the signal is recoverable from patch tokens conditional on a region of interest.