Generalist Foundation Models from a Multimodal Dataset for 3D Computed Tomography

📄 arXiv: 2403.17834v5 📥 PDF

作者: Ibrahim Ethem Hamamci, Sezgin Er, Chenyu Wang, Furkan Almas, Ayse Gulnihan Simsek, Sevval Nil Esirgun, Irem Dogan, Omer Faruk Durugol, Benjamin Hou, Suprosanna Shit, Weicheng Dai, Murong Xu, Hadrien Reynaud, Muhammed Furkan Dasdelen, Bastian Wittmann, Tamaz Amiranashvili, Enis Simsar, Mehmet Simsar, Emine Bensu Erdemir, Abdullah Alanbay, Anjany Sekuboyina, Berkan Lafci, Ahmet Kaplan, Zhiyong Lu, Malgorzata Polacin, Bernhard Kainz, Christian Bluethgen, Kayhan Batmanghelich, Mehmet Kemal Ozdemir, Bjoern Menze

分类: cs.CV

发布日期: 2024-03-26 (更新: 2026-02-08)

DOI: 10.1038/s41551-025-01599-y

💡 一句话要点

提出CT-RATE数据集与CT-CLIP框架以解决3D医学影像AI的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D医学影像 对比学习 多模态数据 CT-RATE数据集 CT-CLIP框架 医学AI 深度学习

📋 核心要点

  1. 现有医学影像AI在3D成像领域的进展受到数据集稀缺的严重限制，影响了模型的训练和应用。
  2. 论文提出CT-RATE数据集和CT-CLIP框架，旨在通过对比学习方法提升3D医学影像的分析能力，减少对特定任务训练的依赖。
  3. 实验结果表明，CT-CLIP在多异常检测和案例检索任务中超越了现有的最先进模型，展示了显著的性能提升。

📝 摘要（中文）

医学影像AI，尤其是3D成像的进展受到全面数据集稀缺的限制。我们引入CT-RATE，这是一个公共数据集，将3D医学图像与相应的文本报告配对。CT-RATE包含来自21,304名独特患者的25,692个非对比3D胸部CT扫描，每个扫描都附有相应的放射学报告。利用CT-RATE，我们开发了CT-CLIP，这是一个专注于CT的对比语言-图像预训练框架，旨在广泛应用而无需特定任务的训练。我们展示了CT-CLIP在多异常检测和案例检索中的应用，并在所有关键指标上超越了最先进的完全监督模型。通过将CT-CLIP的视觉编码器与预训练的大型语言模型结合，我们创建了CT-CHAT，这是一个针对3D胸部CT体积的视觉-语言基础聊天模型。CT-CHAT在超过270万对来自CT-RATE数据集的问题-答案对上进行了微调，强调了3D医学成像中专门方法的必要性。CT-RATE、CT-CLIP和CT-CHAT的开源发布不仅解决了3D医学成像中的关键挑战，还为未来的医学AI创新和改善患者护理奠定了基础。

🔬 方法详解

问题定义：本论文旨在解决3D医学影像AI领域中数据集稀缺的问题，现有方法在多异常检测和案例检索方面的性能不足。

核心思路：通过引入CT-RATE数据集和CT-CLIP框架，利用对比学习方法进行预训练，旨在提高模型在多种任务中的泛化能力，减少对特定任务的依赖。

技术框架：CT-CLIP框架包括视觉编码器和语言模型的结合，首先通过CT-RATE数据集进行预训练，然后在特定任务上进行微调，形成CT-CHAT模型。

关键创新：CT-RATE数据集的构建和CT-CLIP框架的提出是本研究的核心创新，尤其是在3D医学影像分析中实现了对比学习的有效应用，与现有方法相比，显著提升了模型的性能。

关键设计：CT-CLIP的设计包括特定的损失函数和网络结构，采用了多模态输入，确保视觉和语言信息的有效融合，优化了模型在多异常检测和案例检索中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CT-CLIP在多异常检测和案例检索任务中超越了现有最先进的完全监督模型，所有关键指标均显示出显著提升，验证了其在3D医学影像分析中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床决策支持和患者管理等。通过提供CT-RATE数据集和CT-CHAT模型，研究为医学AI的进一步发展提供了基础，能够帮助医生更有效地进行诊断和治疗，提高患者护理质量。

📄 摘要（原文）

Advancements in medical imaging AI, particularly in 3D imaging, have been limited due to the scarcity of comprehensive datasets. We introduce CT-RATE, a public dataset that pairs 3D medical images with corresponding textual reports. CT-RATE comprises 25,692 non-contrast 3D chest CT scans from 21,304 unique patients. Each scan is accompanied by its corresponding radiology report. Leveraging CT-RATE, we develop CT-CLIP, a CT-focused contrastive language-image pretraining framework designed for broad applications without the need for task-specific training. We demonstrate how CT-CLIP can be used in multi-abnormality detection and case retrieval, and outperforms state-of-the-art fully supervised models across all key metrics. By combining CT-CLIP's vision encoder with a pretrained large language model, we create CT-CHAT, a vision-language foundational chat model for 3D chest CT volumes. Finetuned on over 2.7 million question-answer pairs derived from the CT-RATE dataset, CT-CHAT underscores the necessity for specialized methods in 3D medical imaging. Collectively, the open-source release of CT-RATE, CT-CLIP, and CT-CHAT not only addresses critical challenges in 3D medical imaging but also lays the groundwork for future innovations in medical AI and improved patient care.