Big, Bright, or Invisible: A Frozen-Feature Benchmark of 3D CT Foundation Models
作者: Maulik Chevli, Johannes Brandt, Rickmer Braren, Daniel Rueckert, Philip Müller
分类: cs.CV, cs.AI
发布日期: 2026-08-06
💡 一句话要点
提出3D CT基础模型基准以评估诊断能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D CT 基础模型 医学影像 诊断能力 机器学习 图像标记 视觉-语言对齐 临床数据
📋 核心要点
- 现有的3D CT模型在检测小型、低对比度病灶方面存在显著挑战，导致诊断能力受限。
- 本文通过基准测试十种冻结CT编码器，提出了评估其在不同临床数据集上的表现的方法。
- 实验结果显示，模型的表现受限于物理因素，尤其是发现的对比度和空间范围，而非仅仅是模型架构。
📝 摘要（中文）
常规CT解读需要全面捕捉整个扫描体积中的偶然发现。3D CT基础模型可以通过提供解剖和病理的可泛化表示来辅助这一过程。本文对十种冻结CT编码器在三组胸部CT扫描中的诊断广度进行了基准测试，发现没有普遍的最佳模型，排名因评估上下文而显著波动。结合细粒度图像标记与视觉-语言对齐的模型表现最佳，而轻量级监督编码器也显示出竞争力，表明明确标签可以有效替代规模。我们观察到，性能的主要决定因素是物理瓶颈：发现的可检测性与其与周围组织的对比度和空间范围成正比。通过有控制的器官内比较，我们实证表明，大范围或高对比度的异常（如设备和积液）能够可靠恢复，而小的低对比度病灶在所有评估的编码器中仍然是一个持续的挑战。
🔬 方法详解
问题定义：本文旨在解决3D CT基础模型在不同临床数据集中的诊断能力评估问题，尤其是小型、低对比度病灶的检测困难。现有方法在这方面的表现不尽如人意，缺乏统一的最佳模型。
核心思路：通过对十种冻结CT编码器进行基准测试，结合$k$-最近邻、零样本提示和线性探测等方法，评估其在不同数据集上的表现，探索模型性能的影响因素。
技术框架：整体架构包括数据集选择、模型训练与评估、性能比较等主要模块。实验分为三组胸部CT扫描，涵盖已知和未知的临床数据集。
关键创新：最重要的创新在于发现模型性能的主要决定因素是物理瓶颈，而非模型架构本身。通过对比不同模型的表现，揭示了对比度和空间范围对检测能力的影响。
关键设计：在实验中，采用了细粒度图像标记与视觉-语言对齐的组合策略，同时也评估了轻量级监督编码器的表现，显示出明确标签在替代规模方面的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合细粒度图像标记与视觉-语言对齐的模型在性能上表现最佳，而轻量级监督编码器也显示出竞争力。尤其是对于大范围或高对比度的异常，模型的检测能力显著提高，但小型、低对比度病灶的检测仍然是一个挑战。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、自动化诊断系统和临床决策支持工具。通过提升CT模型的检测能力，能够更好地辅助医生进行全面的疾病筛查和早期诊断，具有重要的实际价值和未来影响。
📄 摘要（原文）
Routine CT interpretation is inherently comprehensive, capturing incidental findings across the entire scan volume. 3D CT foundation models could assist this process by providing generalizable representations of anatomy and pathology. To evaluate their diagnostic breadth, we benchmark ten frozen CT encoders across three cohorts of thoracic CT scans, including an unseen internal clinical dataset, using $k$-nearest neighbors, zero-shot prompting, and linear probing. We find no universal state-of-the-art, with rankings fluctuating significantly depending on the evaluation context. While models combining fine-grained image tokenization with vision-language alignment generally perform best, a lightweight supervised encoder remains highly competitive, demonstrating that explicit labels can effectively substitute for scale. Crucially, rather than model architecture, we observe that the primary determinant of performance is a physical bottleneck: a finding's detectability scales with its contrast against surrounding tissue and its spatial extent. Through controlled within-organ comparisons, we empirically demonstrate that widespread or high-contrast abnormalities, such as devices and effusions, are reliably recovered. Conversely, small, low-contrast focal lesions remain a persistent challenge across all evaluated encoders. We attribute this to the inherent limitations of globally pooled embeddings, suggesting that accurately representing small, low-contrast structures will require region- or lesion-level pretraining.