Data Alignment for Zero-Shot Concept Generation in Dermatology AI

📄 arXiv: 2404.13043v2 📥 PDF

作者: Soham Gadgil, Mahtab Bigverdi

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-04-19 (更新: 2024-09-08)

备注: Accepted as a workshop paper to ICLR 2024

💡 一句话要点

提出数据对齐方法以解决皮肤科AI中的零-shot概念生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 皮肤科AI 零-shot学习 大型语言模型 数据对齐 医学图像分析

📋 核心要点

  1. 核心问题：现有的皮肤科AI分类器由于缺乏具有真实标签的数据，导致分类性能受限。
  2. 方法要点：利用大型语言模型生成与临床术语和CLIP预训练数据对齐的图像标题，以改善分类效果。
  3. 实验或效果：使用微调的LLM生成的标题显著提升了零-shot概念分类的性能。

📝 摘要（中文）

皮肤科AI正在快速发展，但由于缺乏具有真实标签的数据，训练可靠的分类器面临重大挑战。CLIP等基础模型提供了零-shot能力，可以利用互联网上大量的图像-文本对来缓解这一问题。然而，CLIP的预训练数据与临床诊断中使用的医学术语不够对齐。本文旨在利用大型语言模型（LLMs）生成与临床术语和CLIP预训练数据自然语言相一致的文本。通过将PubMed文章中的图像标题扩展，并使用在该领域多个教科书上微调的LLM，我们发现使用生成的标题可以显著提高下游零-shot概念分类性能。

🔬 方法详解

问题定义：本文解决的是皮肤科AI中缺乏具有真实标签的数据的问题。现有方法在训练分类器时，无法有效利用医学术语与CLIP预训练数据之间的对齐，导致分类性能不足。

核心思路：论文的核心思路是通过大型语言模型生成与临床术语相一致的图像标题，从而提高分类器的性能。这种设计旨在利用LLM的表达能力来生成更符合医学领域的文本。

技术框架：整体架构包括三个主要模块：首先，从PubMed文章中提取原始图像标题；其次，使用微调的LLM对这些标题进行扩展；最后，将生成的标题应用于零-shot概念分类任务中。

关键创新：最重要的技术创新点在于将LLM与医学领域的知识结合，生成与CLIP预训练数据相对齐的文本。这一方法与传统的图像-文本对齐方法有本质区别，能够更好地适应医学术语。

关键设计：在关键设计上，使用了GPT-3.5作为LLM，并对其进行了领域特定的微调，以确保生成的标题能够准确反映医学概念。同时，损失函数的选择也考虑了文本生成的质量与准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，使用微调的LLM生成的图像标题在零-shot概念分类任务中，相较于传统方法，分类性能提升了显著的幅度，具体提升幅度未知。这一结果验证了LLM在医学文本生成中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持系统以及医学教育等。通过提高零-shot概念分类的性能，能够帮助医生更快速、准确地进行皮肤病的诊断，进而提升患者的治疗效果。未来，该方法还可能扩展到其他医学领域，推动AI在医疗行业的广泛应用。

📄 摘要（原文）

AI in dermatology is evolving at a rapid pace but the major limitation to training trustworthy classifiers is the scarcity of data with ground-truth concept level labels, which are meta-labels semantically meaningful to humans. Foundation models like CLIP providing zero-shot capabilities can help alleviate this challenge by leveraging vast amounts of image-caption pairs available on the internet. CLIP can be fine-tuned using domain specific image-caption pairs to improve classification performance. However, CLIP's pre-training data is not well-aligned with the medical jargon that clinicians use to perform diagnoses. The development of large language models (LLMs) in recent years has led to the possibility of leveraging the expressive nature of these models to generate rich text. Our goal is to use these models to generate caption text that aligns well with both the clinical lexicon and with the natural human language used in CLIP's pre-training data. Starting with captions used for images in PubMed articles, we extend them by passing the raw captions through an LLM fine-tuned on the field's several textbooks. We find that using captions generated by an expressive fine-tuned LLM like GPT-3.5 improves downstream zero-shot concept classification performance.