Towards Accurate Differential Diagnosis with Large Language Models
作者: Daniel McDuff, Mike Schaekermann, Tao Tu, Anil Palepu, Amy Wang, Jake Garrison, Karan Singhal, Yash Sharma, Shekoofeh Azizi, Kavita Kulkarni, Le Hou, Yong Cheng, Yun Liu, S Sara Mahdavi, Sushant Prakash, Anupam Pathak, Christopher Semturs, Shwetak Patel, Dale R Webster, Ewa Dominowska, Juraj Gottweis, Joelle Barral, Katherine Chou, Greg S Corrado, Yossi Matias, Jake Sunshine, Alan Karthikesalingam, Vivek Natarajan
分类: cs.CY, cs.AI
发布日期: 2023-11-30
💡 一句话要点
提出优化的大语言模型以提高医学诊断准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 医学诊断 鉴别诊断 临床决策支持 人工智能 机器学习 医疗应用
📋 核心要点
- 现有的医学诊断方法往往依赖于医生的经验，容易受到主观因素影响，导致诊断准确性不足。
- 本研究提出了一种优化的大语言模型，旨在通过提供更全面的鉴别诊断列表来辅助临床医生，提高诊断的准确性。
- 实验结果显示，使用该LLM的临床医生在鉴别诊断的准确性上显著优于未使用该工具的医生，提升幅度达到45.7%。
📝 摘要（中文）
准确的鉴别诊断是医疗护理的基石，通常通过结合临床历史、体格检查、调查和程序的迭代过程来实现。基于大语言模型（LLMs）的交互界面为辅助和自动化这一过程提供了新机会。本研究介绍了一种针对诊断推理优化的LLM，并评估其独立生成鉴别诊断的能力或作为临床医生的辅助工具。20名临床医生评估了来自《新英格兰医学杂志》的302个具有挑战性的真实医学案例。结果表明，该LLM的独立表现超越了无辅助的临床医生，且在辅助条件下，使用LLM的临床医生的鉴别诊断质量得分显著高于未使用的临床医生。我们的研究表明，该LLM有潜力改善临床医生在复杂病例中的诊断推理和准确性，值得进一步的现实世界评估。
🔬 方法详解
问题定义：本研究旨在解决医学领域中鉴别诊断准确性不足的问题，现有方法往往依赖于医生的主观判断，容易导致误诊或漏诊。
核心思路：论文提出了一种针对诊断推理优化的大语言模型，旨在通过分析临床案例和提供辅助信息来改善医生的诊断能力。该模型通过结合临床历史和医学知识，生成更全面的鉴别诊断列表。
技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。首先，从真实的医学案例中收集数据，然后使用这些数据训练LLM，最后通过临床医生的反馈进行评估和优化。
关键创新：该研究的关键创新在于将大语言模型应用于医学诊断领域，特别是在生成鉴别诊断方面，其独立性能超越了传统的无辅助诊断方法。
关键设计：模型的训练过程中使用了特定的损失函数来优化诊断推理的准确性，并在网络结构上进行了调整，以适应医学领域的特殊需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用该LLM的临床医生在鉴别诊断的准确性上达到了59.1%，而未使用的临床医生仅为33.6%。在辅助条件下，使用LLM的医生的鉴别诊断质量得分为51.7%，显著高于未使用的36.1%和仅使用搜索工具的44.4%。
🎯 应用场景
该研究的潜在应用领域包括医院的临床决策支持系统、远程医疗服务以及医学教育等。通过提高诊断的准确性，该模型能够帮助医生更快地做出决策，改善患者的治疗效果，并扩大患者获得专业医疗服务的机会。
📄 摘要（原文）
An accurate differential diagnosis (DDx) is a cornerstone of medical care, often reached through an iterative process of interpretation that combines clinical history, physical examination, investigations and procedures. Interactive interfaces powered by Large Language Models (LLMs) present new opportunities to both assist and automate aspects of this process. In this study, we introduce an LLM optimized for diagnostic reasoning, and evaluate its ability to generate a DDx alone or as an aid to clinicians. 20 clinicians evaluated 302 challenging, real-world medical cases sourced from the New England Journal of Medicine (NEJM) case reports. Each case report was read by two clinicians, who were randomized to one of two assistive conditions: either assistance from search engines and standard medical resources, or LLM assistance in addition to these tools. All clinicians provided a baseline, unassisted DDx prior to using the respective assistive tools. Our LLM for DDx exhibited standalone performance that exceeded that of unassisted clinicians (top-10 accuracy 59.1% vs 33.6%, [p = 0.04]). Comparing the two assisted study arms, the DDx quality score was higher for clinicians assisted by our LLM (top-10 accuracy 51.7%) compared to clinicians without its assistance (36.1%) (McNemar's Test: 45.7, p < 0.01) and clinicians with search (44.4%) (4.75, p = 0.03). Further, clinicians assisted by our LLM arrived at more comprehensive differential lists than those without its assistance. Our study suggests that our LLM for DDx has potential to improve clinicians' diagnostic reasoning and accuracy in challenging cases, meriting further real-world evaluation for its ability to empower physicians and widen patients' access to specialist-level expertise.