The Foundational Capabilities of Large Language Models in Predicting Postoperative Risks Using Clinical Notes

📄 arXiv: 2402.17493v5 📥 PDF

作者: Charles Alba, Bing Xue, Joanna Abraham, Thomas Kannampallil, Chenyang Lu

分类: cs.CL

发布日期: 2024-02-27 (更新: 2024-08-31)

备注: Codes are publicly available at: https://github.com/cja5553/LLMs_in_perioperative_care

期刊: Published at npj Digital Medicine (2025)

DOI: 10.1038/s41746-025-01489-2

💡 一句话要点

利用大型语言模型预测术后风险以提升围手术期护理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 术后风险预测 临床记录 自监督学习 微调策略 医疗人工智能 数据挖掘

📋 核心要点

  1. 现有方法在术后风险预测中依赖传统词嵌入，准确性和有效性不足。
  2. 论文提出利用大型语言模型，通过多种微调策略提升术后风险预测的准确性。
  3. 实验结果显示，预训练LLMs显著优于传统方法，且自监督微调和标签引入进一步提升了模型性能。

📝 摘要（中文）

临床记录在患者围手术期中具有重要的信息价值。大型语言模型（LLMs）的进步为填补这一空白提供了机会。本文使用2018至2021年间的84,875份术前记录及其相关手术案例，考察LLMs在预测六种术后风险中的表现。预训练的LLMs在AUROC和AUPRC上分别比传统词嵌入提高了38.3%和33.2%。自监督微调进一步提升了3.2%和1.5%。在训练中加入标签后，AUROC和AUPRC分别提高了1.8%和2%。最终，统一基础模型的表现最佳，相较于自监督方法，AUROC和AUPRC分别提高了3.6%和2.6%。

🔬 方法详解

问题定义：本文旨在解决传统方法在术后风险预测中的不足，尤其是准确性和信息利用率低的问题。现有方法往往无法充分挖掘临床记录中的潜在信息。

核心思路：通过利用大型语言模型（LLMs）对临床记录进行深度学习，结合自监督学习和标签引入策略，提升模型在术后风险预测中的表现。这样的设计旨在充分利用LLMs的上下文理解能力和信息提取能力。

技术框架：整体架构包括数据预处理、模型选择、微调策略和性能评估四个主要模块。首先，对84,875份术前记录进行清洗和标注，然后选择适合的LLMs进行预训练和微调，最后通过AUROC和AUPRC等指标评估模型性能。

关键创新：最重要的技术创新在于通过自监督学习和标签引入的结合，显著提升了模型的预测性能。这一方法与传统的词嵌入方法相比，能够更好地捕捉临床文本中的复杂信息。

关键设计：在模型训练中，采用了特定的损失函数以优化预测结果，同时在微调阶段调整了学习率和批量大小等超参数，以确保模型的收敛性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，预训练的LLMs在术后风险预测中相较于传统词嵌入提高了38.3%的AUROC和33.2%的AUPRC。自监督微调和标签引入分别提升了3.2%和1.8%的AUROC，最终统一基础模型的AUROC和AUPRC分别提高了3.6%和2.6%。

🎯 应用场景

该研究的潜在应用领域包括医院的围手术期管理系统，能够通过实时分析患者的临床记录，预测术后风险，从而为医生提供决策支持，提升患者安全性和护理质量。未来，随着模型的进一步优化和数据的积累，可能会在更广泛的医疗场景中得到应用。

📄 摘要（原文）

Clinical notes recorded during a patient's perioperative journey holds immense informational value. Advances in large language models (LLMs) offer opportunities for bridging this gap. Using 84,875 pre-operative notes and its associated surgical cases from 2018 to 2021, we examine the performance of LLMs in predicting six postoperative risks using various fine-tuning strategies. Pretrained LLMs outperformed traditional word embeddings by an absolute AUROC of 38.3% and AUPRC of 33.2%. Self-supervised fine-tuning further improved performance by 3.2% and 1.5%. Incorporating labels into training further increased AUROC by 1.8% and AUPRC by 2%. The highest performance was achieved with a unified foundation model, with improvements of 3.6% for AUROC and 2.6% for AUPRC compared to self-supervision, highlighting the foundational capabilities of LLMs in predicting postoperative risks, which could be potentially beneficial when deployed for perioperative care