UMass-BioNLP at MEDIQA-M3G 2024: DermPrompt -- A Systematic Exploration of Prompt Engineering with GPT-4V for Dermatological Diagnosis
作者: Parth Vashisht, Abhilasha Lodha, Mukta Maddipatla, Zonghai Yao, Avijit Mitra, Zhichao Yang, Junda Wang, Sunjae Kwon, Hong Yu
分类: cs.AI, cs.CL
发布日期: 2024-04-27 (更新: 2024-05-08)
备注: Accepted at NAACL-ClinicalNLP workshop 2024
💡 一句话要点
提出DermPrompt以解决皮肤病诊断的准确性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 皮肤病诊断 多模态模型 GPT-4V 检索与重排序 多代理对话 思维链 医学教育 患者护理
📋 核心要点
- 现有的皮肤病诊断方法准确性不足，尤其是在处理多模态数据时面临挑战。
- 论文提出了一种基于GPT-4V的检索和重排序框架，结合简单思维链和多代理对话以提高诊断准确性。
- 实验结果显示，GPT-4V在检索准确率上达到了85%，并且多代理对话框架在批评性诊断中表现优越。
📝 摘要（中文）
本文介绍了我们团队在MEDIQA-ClinicalNLP2024共享任务B中的参与。我们提出了一种新颖的临床皮肤病诊断方法，通过整合大型多模态模型，特别是利用GPT-4V的能力，在检索器和重排序框架下进行研究。我们的调查显示，GPT-4V作为检索代理时，能够在85%的情况下准确检索到正确的皮肤病状况，使用皮肤病图像和简要的患者历史。此外，我们实证表明，简单的思维链（CoT）在检索中表现良好，而基于医学指南的CoT则是准确诊断皮肤病所必需的。我们还引入了多代理对话（MAC）框架，展示了其在基于批评的诊断中的优越性能和潜力。实验表明，结合简单CoT进行检索和多代理对话进行批评性诊断，GPT-4V能够实现皮肤病状况的早期和准确诊断。此项工作的意义在于改善诊断工作流程，支持皮肤病教育，并通过提供可扩展、可访问和准确的诊断工具来增强患者护理。
🔬 方法详解
问题定义：本文旨在解决临床皮肤病诊断中的准确性问题，现有方法在多模态数据处理和诊断效率上存在不足。
核心思路：通过整合大型多模态模型GPT-4V，利用其强大的检索能力和多代理对话框架，提升皮肤病的诊断准确性和效率。
技术框架：整体架构包括检索器和重排序模块，检索器负责从图像和患者历史中提取信息，重排序模块则优化最终的诊断结果。
关键创新：引入了多代理对话（MAC）框架，显著提升了基于批评的诊断能力，与传统的单一思维链方法相比，提供了更为准确的诊断结果。
关键设计：在参数设置上，采用了简单思维链进行初步检索，而医学指南基础的思维链则用于最终的诊断确认，确保了模型的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用GPT-4V作为检索代理时，能够在85%的情况下准确检索到正确的皮肤病状况。此外，多代理对话框架在批评性诊断中表现优于传统的思维链策略，进一步提升了诊断的准确性和效率。
🎯 应用场景
该研究的潜在应用领域包括临床皮肤病诊断、医学教育和患者护理。通过提供一个可扩展和准确的诊断工具，能够显著提高医疗工作流程的效率，帮助医生做出更快速的决策，并改善患者的就医体验。
📄 摘要（原文）
This paper presents our team's participation in the MEDIQA-ClinicalNLP2024 shared task B. We present a novel approach to diagnosing clinical dermatology cases by integrating large multimodal models, specifically leveraging the capabilities of GPT-4V under a retriever and a re-ranker framework. Our investigation reveals that GPT-4V, when used as a retrieval agent, can accurately retrieve the correct skin condition 85% of the time using dermatological images and brief patient histories. Additionally, we empirically show that Naive Chain-of-Thought (CoT) works well for retrieval while Medical Guidelines Grounded CoT is required for accurate dermatological diagnosis. Further, we introduce a Multi-Agent Conversation (MAC) framework and show its superior performance and potential over the best CoT strategy. The experiments suggest that using naive CoT for retrieval and multi-agent conversation for critique-based diagnosis, GPT-4V can lead to an early and accurate diagnosis of dermatological conditions. The implications of this work extend to improving diagnostic workflows, supporting dermatological education, and enhancing patient care by providing a scalable, accessible, and accurate diagnostic tool.