CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios

📄 arXiv: 2404.15272v4 📥 PDF

作者: Jingyang Lin, Yingda Xia, Jianpeng Zhang, Ke Yan, Kai Cao, Le Lu, Jiebo Luo, Ling Zhang

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-04-23 (更新: 2025-12-02)

💡 一句话要点

提出CT-GLIP以解决3D医学图像与语言对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D医学图像 多模态学习 视觉-语言对齐 放射学 深度学习

📋 核心要点

  1. 现有的3D医学图像与语言对齐方法主要依赖全局特征，导致关键信息的丢失，影响诊断准确性。
  2. CT-GLIP通过构建细粒度的CT-报告对，增强了跨模态对比学习，从而实现更精确的视觉与文本对齐。
  3. 实验结果显示，CT-GLIP在多个下游任务上超越了传统方法，尤其在零样本任务中表现优异，提升幅度显著。

📝 摘要（中文）

3D医学视觉-语言预训练在放射学中展现出潜力，利用CT-报告对的大规模多模态数据集。然而，现有方法主要依赖于直接从2D场景适配的全局视觉-语言对齐，导致重要的稀疏语义信息丢失。为了解决这一问题，本文提出CT-GLIP模型，通过构建细粒度的CT-报告对，增强了基于对齐的跨模态对比学习，有效地将视觉特征与精确的文本描述对齐。CT-GLIP在多种下游任务中表现出色，能够在零样本情况下识别器官和异常。实验证明，与全局视觉-语言对齐的模型相比，CT-GLIP在零样本异常检测、肿瘤检测和肿瘤分割任务上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决现有3D医学图像与语言对齐方法中全局特征导致的稀疏语义信息丢失的问题。现有方法无法有效捕捉与诊断相关的细节，影响了模型的准确性和实用性。

核心思路：CT-GLIP的核心思想是通过构建细粒度的CT-报告对，增强跨模态对比学习，从而实现更精确的视觉特征与文本描述的对齐。这种设计能够更好地捕捉到医学图像中的关键细节，提升模型的理解能力。

技术框架：CT-GLIP的整体架构包括数据预处理、细粒度对齐模块和对比学习模块。首先，从CT扫描和放射学报告中提取数据，然后通过对齐模块构建细粒度的特征表示，最后利用对比学习优化模型性能。

关键创新：CT-GLIP的主要创新在于其细粒度的对齐策略，与传统的全局对齐方法相比，能够更有效地捕捉到医学图像中的稀疏语义信息，从而提升对诊断的理解和准确性。

关键设计：在模型设计中，CT-GLIP采用了特定的损失函数以优化跨模态对齐效果，并在网络结构上进行了调整，以适应3D医学图像的特性。关键参数设置经过多次实验验证，以确保模型的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CT-GLIP在零样本异常检测、肿瘤检测和肿瘤分割任务上相较于传统全局对齐方法，F1分数平均提升15.1%，AUC提升1.9%，DSC提升3.2%。这些结果表明，细粒度对齐策略显著增强了模型的性能，尤其在复杂的医学场景中。

🎯 应用场景

CT-GLIP的研究成果在医学影像分析、自动诊断系统和临床辅助决策等领域具有广泛的应用潜力。通过提高模型对医学图像的理解能力，能够帮助医生更快速、准确地进行诊断，提升医疗服务的效率和质量。未来，该模型还可能扩展到其他类型的医学影像分析任务中。

📄 摘要（原文）

3D medical vision-language (VL) pretraining has shown potential in radiology by leveraging large-scale multimodal datasets with CT-report pairs. However, existing methods primarily rely on a global VL alignment directly adapted from 2D scenarios. The entire 3D image is transformed into one global embedding, resulting in a loss of sparse but critical semantics essential for accurately aligning with the corresponding diagnosis. To address this limitation, we propose CT-GLIP, a 3D Grounded Language-Image Pretrained model that constructs fine-grained CT-report pairs to enhance \textit{grounded} cross-modal contrastive learning, effectively aligning grounded visual features with precise textual descriptions. Leveraging the grounded cross-modal alignment, CT-GLIP improves performance across diverse downstream tasks and can even identify organs and abnormalities in a zero-shot manner using natural language. CT-GLIP is trained on a multimodal CT dataset comprising 44,011 organ-level CT-report pairs from 17,702 patients, covering 104 organs. Evaluation is conducted on four downstream tasks: zero-shot organ recognition (OR), zero-shot abnormality detection (AD), tumor detection (TD), and tumor segmentation (TS). Empirical results show that it outperforms its counterparts with global VL alignment. Compared to vanilla CLIP, CT-GLIP achieves average performance improvements of 15.1% of F1 score, 1.9% of AUC, and 3.2% of DSC for zero-shot AD, TD, and TS tasks, respectively. This study highlights the significance of grounded VL alignment in enabling 3D medical VL foundation models to understand sparse representations within CT scans.