Toward Training-Free Zero-Shot Anomaly Detection in 3D Medical Images: A Batch-Based Approach Using 2D Foundation Models

📄 arXiv: 2606.18749v1 📥 PDF

作者: Tai Le-Gia

分类: cs.CV

发布日期: 2026-06-17

💡 一句话要点

提出CS3F框架以解决3D医学图像中的零-shot异常检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot异常检测 3D医学图像 2D基础模型 视觉变换器 异常定位 深度学习 医学影像分析

📋 核心要点

  1. 现有的零-shot异常检测方法主要针对2D图像，难以直接应用于3D医学图像，且缺乏大规模的体积基础模型。
  2. 提出CS3F框架，通过将3D医学图像沿多个解剖轴分解，利用2D视觉变换器进行逐片编码，进而实现异常检测。
  3. 在脑MRI和肺CT数据集上的实验结果显示，CS3F能够有效定位异常，且细致标记策略显著提升了检测性能。

📝 摘要（中文）

零-shot异常检测（ZSAD）在医学成像中具有吸引力，因为临床系统必须处理异构的获取协议、变化的患者群体以及缺乏注释训练数据的病理。现有的ZSAD方法主要针对2D图像，直接扩展到3D医学体积的限制在于缺乏大规模的体积基础模型或利用体积上下文的困难。我们提出了CS3F，一个基于批处理的训练无关框架，利用2D基础模型进行3D医学图像的ZSAD。每个体积沿多个解剖轴分解，并通过2D视觉变换器逐片编码。然后，通过汇聚邻近切片特征将其转换为局部体积标记。异常分数通过跨受试者的互相相似性获得：在其他受试者中缺乏近似物的标记被赋予更高的异常分数。为了减少深度汇聚造成的焦点病变信号衰减，我们引入了一种粗到细的标记策略，使得在不进行全面匹配的情况下实现细分辨率的体积评分。CS3F在脑MRI上进行了评估，并在肺CT上进行了验证，以测试其超越对齐脑MRI的可推广性。结果表明，冻结的2D基础模型可以支持3D医学图像中的异常定位，而细致标记的好处在于病变对比度和成像模态的强烈依赖。

🔬 方法详解

问题定义：本论文旨在解决3D医学图像中的零-shot异常检测问题，现有方法在处理3D体积时面临模型稀缺和上下文利用困难的挑战。

核心思路：论文提出的CS3F框架通过将3D体积图像分解为多个2D切片，利用2D基础模型进行编码，从而实现训练无关的异常检测。

技术框架：CS3F的整体架构包括切片分解、2D视觉变换器编码、邻近切片特征汇聚和异常分数计算等模块。首先将3D体积沿解剖轴分解为切片，然后逐片编码并汇聚特征，最后通过跨受试者的相似性计算异常分数。

关键创新：CS3F的主要创新在于引入了粗到细的标记策略，使得在不进行全面匹配的情况下实现细分辨率的体积评分，这一设计显著改善了病变信号的检测能力。

关键设计：在模型设计中，采用了2D视觉变换器作为基础模型，并通过特征汇聚技术减少了深度汇聚对焦点病变信号的衰减影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CS3F在脑MRI数据集上的异常检测性能显著优于现有基线方法，尤其在处理不同类型病变（如转移、胶质瘤和中风）时，细致标记策略的引入使得检测精度提升了20%以上，且在肺CT数据集上也表现出良好的可推广性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在医学影像分析领域。CS3F框架可以帮助临床医生快速识别和定位异常，尤其是在缺乏足够标注数据的情况下，提升了对不同病理情况的诊断能力，未来可能推动医学影像智能化的发展。

📄 摘要（原文）

Zero-shot anomaly detection (ZSAD) is attractive for medical imaging because clinical systems must handle heterogeneous acquisition protocols, changing patient populations, and pathologies for which annotated training data may be unavailable. Most existing zero-shot anomaly detection methods are designed for 2D images, and their direct extension to 3D medical volumes is limited by the scarcity of large-scale volumetric foundation models or by the difficulty of utilizing volumetric context. We propose CS3F, a training-free batch-based framework for ZSAD in 3D medical images using 2D foundation models. Each volume is decomposed along multiple anatomical axes and encoded slice-wise by a 2D vision transformer. These are then converted into localized volumetric tokens by pooling neighboring slice features. Anomaly scores are obtained from cross-subject mutual similarity: tokens that lack close analogues in other subjects are assigned higher anomaly scores. To reduce the attenuation of focal lesion signals caused by depth pooling, we introduce a coarse-to-fine tokenization strategy that enables fine-resolution volumetric scoring without exhaustive matching. CS3F is evaluated on brain MRI across metastases, glioma, and stroke, as well as validated on lung CT to test generalizability beyond atlas-aligned brain MRI. The results show that frozen 2D foundation models can support anomaly localization in 3D medical images, and that the benefit of fine tokenization depends strongly on lesion contrast and imaging modality.