Zero-Shot Medical Phrase Grounding with Off-the-shelf Diffusion Models

📄 arXiv: 2404.12920v4 📥 PDF

作者: Konstantinos Vilouras, Pedro Sanchez, Alison Q. O'Neil, Sotirios A. Tsaftaris

分类: cs.CV, cs.LG

发布日期: 2024-04-19 (更新: 2025-01-30)

备注: 10 pages, 3 figures, IEEE J-BHI Special Issue on Foundation Models in Medical Imaging

💡 一句话要点

提出基于扩散模型的零-shot医学短语定位方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分析 短语定位 扩散模型 零-shot学习 跨模态对齐 特征选择 后处理技术

📋 核心要点

  1. 现有医学图像定位方法依赖大量标注数据，限制了其应用范围和效率。
  2. 本文利用Latent Diffusion Model的跨注意力机制，在零-shot条件下进行医学短语定位，避免了额外的训练过程。
  3. 实验结果表明，所提方法在胸部X光图像上与最先进的方法相当，且在平均IoU和AUC-ROC指标上表现更佳。

📝 摘要（中文）

在医学扫描中精确定位病理区域是一个重要的成像问题，传统方法需要大量的边界框标注。本文提出利用现有的Latent Diffusion Model进行短语定位，借助其跨注意力机制来隐式对齐视觉和文本特征。我们在零-shot条件下进行任务，即不对目标任务进行训练，模型权重保持不变。通过特征选择和后处理策略，我们的方法在胸部X光基准测试中表现出色，与现有最先进的方法相比，在不同病理类型上具有竞争力，且在平均IoU和AUC-ROC指标上超越了它们。

🔬 方法详解

问题定义：本文旨在解决在医学扫描中精确定位病理区域的问题。现有方法通常依赖大量的边界框标注，导致标注成本高且效率低下。

核心思路：我们提出利用Latent Diffusion Model进行短语定位，利用其跨注意力机制来隐式对齐视觉和文本特征，从而在零-shot条件下实现定位任务。

技术框架：整体框架包括特征选择和后处理两个主要模块。特征选择阶段从Latent Diffusion Model中提取视觉和文本特征，后处理阶段则对这些特征进行精细调整，以提高定位精度。

关键创新：本研究的关键创新在于首次将Latent Diffusion Model应用于医学短语定位任务，并在零-shot条件下实现有效的图像-文本对齐，区别于传统需要训练的对比学习方法。

关键设计：在特征选择中，我们设计了无额外可学习参数的策略，确保模型在不改变权重的情况下进行特征的优化和精细调整。

📊 实验亮点

在胸部X光基准测试中，所提方法在不同类型的病理上表现出色，平均IoU和AUC-ROC指标上超越了现有最先进的方法，显示出其在零-shot医学短语定位中的有效性和竞争力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在医学影像分析领域。通过减少对标注数据的依赖，能够加速医学图像处理的自动化进程，提高临床诊断的效率和准确性。未来，该方法还可能扩展到其他领域的图像和文本结合任务。

📄 摘要（原文）

Localizing the exact pathological regions in a given medical scan is an important imaging problem that traditionally requires a large amount of bounding box ground truth annotations to be accurately solved. However, there exist alternative, potentially weaker, forms of supervision, such as accompanying free-text reports, which are readily available. The task of performing localization with textual guidance is commonly referred to as phrase grounding. In this work, we use a publicly available Foundation Model, namely the Latent Diffusion Model, to perform this challenging task. This choice is supported by the fact that the Latent Diffusion Model, despite being generative in nature, contains cross-attention mechanisms that implicitly align visual and textual features, thus leading to intermediate representations that are suitable for the task at hand. In addition, we aim to perform this task in a zero-shot manner, i.e., without any training on the target task, meaning that the model's weights remain frozen. To this end, we devise strategies to select features and also refine them via post-processing without extra learnable parameters. We compare our proposed method with state-of-the-art approaches which explicitly enforce image-text alignment in a joint embedding space via contrastive learning. Results on a popular chest X-ray benchmark indicate that our method is competitive with SOTA on different types of pathology, and even outperforms them on average in terms of two metrics (mean IoU and AUC-ROC). Source code will be released upon acceptance at https://github.com/vios-s.