Large Language Model Capabilities in Perioperative Risk Prediction and Prognostication

📄 arXiv: 2401.01620v1 📥 PDF

作者: Philip Chung, Christine T Fong, Andrew M Walters, Nima Aghaeepour, Meliha Yetisgen, Vikas N O'Reilly-Shah

分类: cs.AI, cs.CL

发布日期: 2024-01-03

💡 一句话要点

利用大语言模型进行围手术期风险预测与预后评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 围手术期管理 风险预测 临床决策支持 电子健康记录

📋 核心要点

  1. 现有方法在围手术期风险预测中面临准确性不足和临床适用性差的挑战。
  2. 本研究利用大语言模型，通过分析手术描述和临床记录，进行风险分层和结果预测。
  3. 实验结果显示，模型在ASA分类、ICU入院和医院死亡率预测上表现良好，F1得分分别为0.50、0.81和0.86。

📝 摘要（中文）

本研究探讨了通用领域的大语言模型（如GPT-4 Turbo）在围手术期风险分层和术后结果预测中的应用。通过分析手术描述和患者的临床记录，评估了模型在8个不同任务上的预测性能，包括ASA身体状态分类、医院入院、ICU入院等。研究发现，少量示例和思维链提示能提升多个任务的预测性能。ASA身体状态分类的F1得分为0.50，ICU入院为0.81，医院死亡率为0.86，而持续时间预测任务的表现普遍较差。当前的大语言模型能够辅助临床医生进行分类任务的风险分层，并生成高质量的自然语言总结和解释。

🔬 方法详解

问题定义：本研究旨在解决围手术期风险预测中的准确性和效率问题，现有方法往往依赖于传统的统计模型，难以充分利用电子健康记录中的信息。

核心思路：通过使用大语言模型，结合手术描述和患者临床记录，进行风险分层和术后结果预测，以提高预测的准确性和临床适用性。

技术框架：整体流程包括数据收集、模型输入准备、预测任务执行和结果评估。主要模块包括数据预处理、模型推理和性能评估。

关键创新：本研究的创新点在于将大语言模型应用于围手术期风险预测，利用少量示例和思维链提示显著提升了多个分类任务的预测性能。

关键设计：在模型训练中，采用了少量示例提示和思维链提示策略，优化了输入格式，确保模型能够有效理解和处理临床信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，模型在ASA身体状态分类、ICU入院和医院死亡率预测任务上取得了F1得分分别为0.50、0.81和0.86的良好表现。尽管在持续时间预测任务上表现不佳，但整体上证明了大语言模型在围手术期风险评估中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括医院的围手术期管理、临床决策支持系统和患者风险评估工具。通过提高风险预测的准确性，能够帮助临床医生更好地制定手术方案，优化患者的治疗路径，最终提升医疗服务质量。

📄 摘要（原文）

We investigate whether general-domain large language models such as GPT-4 Turbo can perform risk stratification and predict post-operative outcome measures using a description of the procedure and a patient's clinical notes derived from the electronic health record. We examine predictive performance on 8 different tasks: prediction of ASA Physical Status Classification, hospital admission, ICU admission, unplanned admission, hospital mortality, PACU Phase 1 duration, hospital duration, and ICU duration. Few-shot and chain-of-thought prompting improves predictive performance for several of the tasks. We achieve F1 scores of 0.50 for ASA Physical Status Classification, 0.81 for ICU admission, and 0.86 for hospital mortality. Performance on duration prediction tasks were universally poor across all prompt strategies. Current generation large language models can assist clinicians in perioperative risk stratification on classification tasks and produce high-quality natural language summaries and explanations.