Autocompletion of Chief Complaints in the Electronic Health Records using Large Language Models
作者: K M Sajjadul Islam, Ayesha Siddika Nipu, Praveen Madiraju, Priya Deshpande
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-01-11
备注: IEEE BigData 2023 - Sorrento, Italy. 10 Pages, 4 Figures, 5 Tables
💡 一句话要点
提出基于大语言模型的主诉自动补全工具以解决医疗记录文档化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主诉自动补全 大语言模型 生物医学生成模型 医疗记录 文本生成技术
📋 核心要点
- 现有的主诉记录方法耗时较长，尤其是在急诊科，影响了医疗服务的效率。
- 本文提出了一种基于大语言模型的自动补全工具，利用LSTM和BioGPT模型生成主诉记录。
- 实验结果显示，BioGPT-Large模型在生成主诉时的困惑度得分显著低于传统LSTM模型，提升效果明显。
📝 摘要（中文）
主诉（CC）是患者医疗记录中的关键组成部分，描述了寻求医疗服务的主要原因。然而，在繁忙的急诊科，记录主诉可能耗时较长。为了解决这一问题，本文开发了一种自动补全工具，能够为临床笔记建议准确且格式良好的短语或句子。研究中使用文本生成技术，训练了长短期记忆（LSTM）模型，并微调了三种不同变体的生物医学生成预训练变换器（BioGPT）。结果表明，BioGPT-Large在生成主诉时表现优越，困惑度得分为1.65，而基线LSTM模型的最佳得分为170。该研究展示了利用大语言模型（LLMs）如BioGPT，能够有效生成医疗文档的自动补全工具。
🔬 方法详解
问题定义：本文旨在解决医疗记录中主诉文档化的效率问题。现有方法在急诊科环境中记录主诉时，往往耗时较长，影响医疗服务质量。
核心思路：论文提出了一种基于大语言模型的自动补全工具，通过训练和微调多种生成模型，来提高主诉记录的效率和准确性。
技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。首先，收集主诉数据，然后训练LSTM模型，并微调BioGPT模型，最后通过多种指标评估模型性能。
关键创新：最重要的技术创新在于结合了多种生物医学生成预训练变换器（BioGPT）模型，并通过示例句子优化提示，显著提升了生成效果。
关键设计：在模型训练中，采用了不同的BioGPT变体，包括microsoft/biogpt、microsoft/BioGPT-Large和microsoft/BioGPT-Large-PubMedQA，并通过OpenAI的GPT-4 API进行提示调优，使用困惑度、修改后的BERTScore和余弦相似度等指标进行评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BioGPT-Large模型在生成主诉时的困惑度得分为1.65，远低于基线LSTM模型的170，表明该模型在文本生成方面具有显著优势，能够有效支持医疗记录的自动化。
🎯 应用场景
该研究的自动补全工具可广泛应用于医疗记录的文档化，特别是在急诊科和其他高压环境中，能够显著提高记录效率，减轻医护人员的负担。未来，该工具还可扩展到其他医疗领域，促进医疗信息化的发展。
📄 摘要（原文）
The Chief Complaint (CC) is a crucial component of a patient's medical record as it describes the main reason or concern for seeking medical care. It provides critical information for healthcare providers to make informed decisions about patient care. However, documenting CCs can be time-consuming for healthcare providers, especially in busy emergency departments. To address this issue, an autocompletion tool that suggests accurate and well-formatted phrases or sentences for clinical notes can be a valuable resource for triage nurses. In this study, we utilized text generation techniques to develop machine learning models using CC data. In our proposed work, we train a Long Short-Term Memory (LSTM) model and fine-tune three different variants of Biomedical Generative Pretrained Transformers (BioGPT), namely microsoft/biogpt, microsoft/BioGPT-Large, and microsoft/BioGPT-Large-PubMedQA. Additionally, we tune a prompt by incorporating exemplar CC sentences, utilizing the OpenAI API of GPT-4. We evaluate the models' performance based on the perplexity score, modified BERTScore, and cosine similarity score. The results show that BioGPT-Large exhibits superior performance compared to the other models. It consistently achieves a remarkably low perplexity score of 1.65 when generating CC, whereas the baseline LSTM model achieves the best perplexity score of 170. Further, we evaluate and assess the proposed models' performance and the outcome of GPT-4.0. Our study demonstrates that utilizing LLMs such as BioGPT, leads to the development of an effective autocompletion tool for generating CC documentation in healthcare settings.