A dataset and benchmark for hospital course summarization with adapted large language models

📄 arXiv: 2403.05720v5 📥 PDF

作者: Asad Aali, Dave Van Veen, Yamin Ishraq Arefeen, Jason Hom, Christian Bluethgen, Eduardo Pontes Reis, Sergios Gatidis, Namuun Clifford, Joseph Daws, Arash S. Tehrani, Jangwon Kim, Akshay S. Chaudhari

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-08 (更新: 2025-04-23)

期刊: JAMIA, 2024

DOI: 10.1093/jamia/ocae312

💡 一句话要点

提出MIMIC-IV-BHC数据集以提升医院病程摘要生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医院病程摘要 大型语言模型 临床笔记 数据集构建 模型适应 性能评估 临床决策支持

📋 核心要点

  1. 现有方法在医疗领域的应用尚未充分展示大型语言模型的能力，尤其是在生成医院病程摘要方面。
  2. 本文提出MIMIC-IV-BHC数据集，结合临床笔记与BHC对，旨在通过适应LLMs来提升BHC生成质量。
  3. 实验结果表明，微调后的Llama2-13B在定量评估中表现最佳，而GPT-4在处理长输入时更具鲁棒性，且临床医生偏好GPT-4生成的摘要。

📝 摘要（中文）

简要医院病程（BHC）摘要是总结患者住院情况的临床文档。尽管大型语言模型（LLMs）在自动化现实任务中展现出卓越能力，但其在医疗领域应用，如从临床笔记合成BHC的能力尚未得到验证。本文引入了一个新处理的数据集MIMIC-IV-BHC，包含临床笔记与BHC对，以适应LLMs进行BHC合成。此外，本文还建立了一个基准，评估两种通用LLMs和三种医疗适应LLMs的摘要性能。通过临床笔记作为输入，采用基于提示和微调的适应策略，对三种开源LLMs和两种专有LLMs进行评估。研究结果显示，微调后的Llama2-13B在BLEU和BERT-Score等定量评估指标上优于其他模型，而GPT-4在处理长输入时表现出更强的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在医疗领域生成医院病程摘要的能力不足，现有方法未能有效利用临床笔记进行摘要合成。

核心思路：通过引入MIMIC-IV-BHC数据集，结合临床笔记与BHC对，适应LLMs以提高摘要生成的质量和准确性。

技术框架：整体流程包括数据集的构建、LLMs的适应策略（包括提示学习和微调）、以及性能评估。主要模块包括数据预处理、模型训练和评估指标计算。

关键创新：引入了MIMIC-IV-BHC数据集和针对医疗领域的LLMs适应策略，显著提升了医院病程摘要的生成质量，与现有方法相比具有更高的临床实用性。

关键设计：在模型训练中，采用BLEU和BERT-Score作为评估指标，微调Llama2-13B和GPT-4的参数设置，确保模型在处理不同长度的临床笔记时的性能优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的Llama2-13B在BLEU和BERT-Score等定量指标上优于其他模型，且GPT-4在处理长输入时表现出更强的鲁棒性。临床医生对GPT-4生成的摘要表现出显著偏好，强调了定性评估的重要性。

🎯 应用场景

该研究的潜在应用领域包括医院信息系统、临床决策支持系统和医疗文档自动化生成。通过提高医院病程摘要的生成质量，能够有效支持临床医生的决策过程，提升患者护理质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Brief hospital course (BHC) summaries are clinical documents that summarize a patient's hospital stay. While large language models (LLMs) depict remarkable capabilities in automating real-world tasks, their capabilities for healthcare applications such as synthesizing BHCs from clinical notes have not been shown. We introduce a novel pre-processed dataset, the MIMIC-IV-BHC, encapsulating clinical note and brief hospital course (BHC) pairs to adapt LLMs for BHC synthesis. Furthermore, we introduce a benchmark of the summarization performance of two general-purpose LLMs and three healthcare-adapted LLMs. Using clinical notes as input, we apply prompting-based (using in-context learning) and fine-tuning-based adaptation strategies to three open-source LLMs (Clinical-T5-Large, Llama2-13B, FLAN-UL2) and two proprietary LLMs (GPT-3.5, GPT-4). We evaluate these LLMs across multiple context-length inputs using natural language similarity metrics. We further conduct a clinical study with five clinicians, comparing clinician-written and LLM-generated BHCs across 30 samples, focusing on their potential to enhance clinical decision-making through improved summary quality. We observe that the Llama2-13B fine-tuned LLM outperforms other domain-adapted models given quantitative evaluation metrics of BLEU and BERT-Score. GPT-4 with in-context learning shows more robustness to increasing context lengths of clinical note inputs than fine-tuned Llama2-13B. Despite comparable quantitative metrics, the reader study depicts a significant preference for summaries generated by GPT-4 with in-context learning compared to both Llama2-13B fine-tuned summaries and the original summaries, highlighting the need for qualitative clinical evaluation.