Prompting Large Language Models for Zero-Shot Clinical Prediction with Structured Longitudinal Electronic Health Record Data

📄 arXiv: 2402.01713v2 📥 PDF

作者: Yinghao Zhu, Zixiang Wang, Junyi Gao, Yuning Tong, Jingkun An, Weibin Liao, Ewen M. Harrison, Liantao Ma, Chengwei Pan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-25 (更新: 2024-02-10)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于LLM的零-shot临床预测方法以应对EHR数据挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子健康记录 大型语言模型 零-shot学习 临床预测 机器学习 数据驱动决策 公共卫生

📋 核心要点

  1. 现有的预测模型在新疾病爆发时常因缺乏历史数据而无法有效工作，导致临床决策延误。
  2. 本文提出了一种针对EHR数据特性的提示方法，结合了临床背景的上下文学习策略，以提高LLM的预测能力。
  3. 实验结果显示，使用该提示框架，LLM在关键任务中的预测性能提升约35%，超越了传统机器学习模型的表现。

📝 摘要（中文）

结构化的纵向电子健康记录（EHR）数据的复杂性在与大型语言模型（LLM）结合时面临重大挑战。本文研究了LLM（如GPT-4）在缺乏历史数据的情况下进行零-shot预测的适应性，尤其是在新疾病爆发时的快速决策需求下。我们提出了一种考虑EHR特征的提示方法，并通过在MIMIC-IV和TJH数据集上的实验，证明了该方法在死亡率、住院时长和30天再入院预测任务中的性能提升约35%，超越了少量样本的传统机器学习模型。该研究强调了LLM在紧急医疗情况下增强临床决策的潜力。

🔬 方法详解

问题定义：本文旨在解决结构化EHR数据与大型语言模型结合时的复杂性问题，现有方法在处理缺乏历史数据的临床预测时表现不佳。

核心思路：我们提出了一种基于EHR特征的提示方法，利用LLM的零-shot能力，使其能够在未见数据上进行有效预测，特别是在紧急医疗场景中。

技术框架：整体框架包括数据预处理、特征提取、提示设计和模型推理四个主要模块，确保模型能够理解和利用EHR数据的特性。

关键创新：最重要的创新在于结合了EHR特征（如单位和参考范围）与上下文学习策略，使LLM能够更好地适应临床环境，显著提升预测性能。

关键设计：在提示设计中，我们考虑了EHR数据的稀疏性和知识注入，采用特定的参数设置和损失函数，以优化模型在临床任务中的表现。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，采用我们设计的提示框架后，LLM在死亡率、住院时长和30天再入院预测任务中的性能提升约35%，显著优于传统机器学习模型的表现，展示了LLM在临床预测中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括医院的临床决策支持系统、公共卫生监测和新疾病的快速响应机制。通过提升LLM在EHR数据上的预测能力，可以为医生提供更准确的决策依据，尤其是在缺乏历史数据的紧急情况下，具有重要的实际价值和未来影响。

📄 摘要（原文）

The inherent complexity of structured longitudinal Electronic Health Records (EHR) data poses a significant challenge when integrated with Large Language Models (LLMs), which are traditionally tailored for natural language processing. Motivated by the urgent need for swift decision-making during new disease outbreaks, where traditional predictive models often fail due to a lack of historical data, this research investigates the adaptability of LLMs, like GPT-4, to EHR data. We particularly focus on their zero-shot capabilities, which enable them to make predictions in scenarios in which they haven't been explicitly trained. In response to the longitudinal, sparse, and knowledge-infused nature of EHR data, our prompting approach involves taking into account specific EHR characteristics such as units and reference ranges, and employing an in-context learning strategy that aligns with clinical contexts. Our comprehensive experiments on the MIMIC-IV and TJH datasets demonstrate that with our elaborately designed prompting framework, LLMs can improve prediction performance in key tasks such as mortality, length-of-stay, and 30-day readmission by about 35\%, surpassing ML models in few-shot settings. Our research underscores the potential of LLMs in enhancing clinical decision-making, especially in urgent healthcare situations like the outbreak of emerging diseases with no labeled data. The code is publicly available at https://github.com/yhzhu99/llm4healthcare for reproducibility.