PRISM: Patient Records Interpretation for Semantic Clinical Trial Matching using Large Language Models

📄 arXiv: 2404.15549v2 📥 PDF

作者: Shashi Kant Gupta, Aditya Basu, Mauro Nievas, Jerrin Thomas, Nathan Wolfrath, Adhitya Ramamurthi, Bradley Taylor, Anai N. Kothari, Regina Schwind, Therica M. Miller, Sorena Nadaf-Rahrov, Yanshan Wang, Hrituraj Singh

分类: cs.CL, cs.AI

发布日期: 2024-04-23 (更新: 2024-04-27)

备注: 30 Pages, 8 Figures, Supplementary Work Attached

💡 一句话要点

提出PRISM以解决临床试验匹配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床试验匹配 大型语言模型 电子健康记录 自动化匹配 医疗决策支持

📋 核心要点

  1. 现有的临床试验匹配方法依赖人工审核，效率低下且难以扩展，导致许多患者错失治疗机会。
  2. 本文提出了一种基于大型语言模型的自动化匹配方法，利用真实世界的EHRs进行大规模评估，展示了LLMs在临床试验匹配中的潜力。
  3. 实验结果表明，OncoLLM模型在真实EHRs上表现优于GPT-3.5，并与专业医生的匹配效果相当，显示出其实际应用价值。

📝 摘要（中文）

临床试验匹配是识别潜在符合条件患者的任务，通常需要人工验证患者电子健康记录（EHRs）与临床试验的严格标准，过程繁琐且难以扩展。本文展示了使用大型语言模型（LLMs）进行临床试验匹配的首次大规模实证评估，证明LLMs能够准确匹配患者与合适的临床试验。通过对真实EHRs的实验，提出的OncoLLM模型在性能上超越了GPT-3.5，并与合格医生的表现相当。

🔬 方法详解

问题定义：本文旨在解决临床试验匹配中的人工审核效率低、难以扩展的问题。现有方法通常依赖于人工验证患者的电子健康记录（EHRs），导致许多患者错失潜在的治疗机会。

核心思路：论文提出了一种基于大型语言模型的自动化匹配方法，利用真实世界的EHRs进行大规模评估，旨在提高匹配的准确性和效率。通过对模型进行微调，增强其在临床环境中的适应性。

技术框架：整体架构包括数据收集、预处理、模型训练和评估四个主要阶段。首先，从单一癌症中心收集真实EHRs和临床试验数据，然后使用GPT-4、GPT-3.5及自定义的OncoLLM进行训练和评估。

关键创新：最重要的技术创新在于首次在真实EHRs上进行大规模的临床试验匹配评估，OncoLLM模型在性能上超越了GPT-3.5，并与合格医生的表现相当，显示出其在实际应用中的潜力。

关键设计：在模型设计中，OncoLLM采用了特定的损失函数和参数设置，以优化其在临床试验匹配任务中的表现。模型的微调过程使其能够更好地理解临床语言和患者背景信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OncoLLM在真实EHRs上的匹配准确率超过了GPT-3.5，并与合格医生的表现相当。这一成果表明，基于大型语言模型的自动化匹配方法在临床试验招募中具有显著的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括临床试验的自动化匹配、患者招募优化以及医疗决策支持系统。通过提高匹配效率，能够帮助更多患者获得合适的治疗方案，提升临床试验的参与率，最终推动医疗研究的进展。

📄 摘要（原文）

Clinical trial matching is the task of identifying trials for which patients may be potentially eligible. Typically, this task is labor-intensive and requires detailed verification of patient electronic health records (EHRs) against the stringent inclusion and exclusion criteria of clinical trials. This process is manual, time-intensive, and challenging to scale up, resulting in many patients missing out on potential therapeutic options. Recent advancements in Large Language Models (LLMs) have made automating patient-trial matching possible, as shown in multiple concurrent research studies. However, the current approaches are confined to constrained, often synthetic datasets that do not adequately mirror the complexities encountered in real-world medical data. In this study, we present the first, end-to-end large-scale empirical evaluation of clinical trial matching using real-world EHRs. Our study showcases the capability of LLMs to accurately match patients with appropriate clinical trials. We perform experiments with proprietary LLMs, including GPT-4 and GPT-3.5, as well as our custom fine-tuned model called OncoLLM and show that OncoLLM, despite its significantly smaller size, not only outperforms GPT-3.5 but also matches the performance of qualified medical doctors. All experiments were carried out on real-world EHRs that include clinical notes and available clinical trials from a single cancer center in the United States.