Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure

📄 arXiv: 2403.11425v3 📥 PDF

作者: Ziyi Chen, Mengyuan Zhang, Mustafa Mohammed Ahmed, Yi Guo, Thomas J. George, Jiang Bian, Yonghui Wu

分类: cs.LG, cs.CL

发布日期: 2024-03-18 (更新: 2024-11-02)

备注: 10 pages, 4 figures, 5 tables

💡 一句话要点

利用大语言模型识别癌症患者心衰风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 心衰风险识别 电子健康记录 机器学习 叙事特征 癌症治疗 深度学习

📋 核心要点

  1. 现有方法在识别癌症患者心衰风险时存在准确性不足的问题，尤其是在处理复杂的电子健康记录时。
  2. 本研究提出利用大语言模型和新颖的叙事特征，结合传统和深度学习方法，提高心衰风险识别的准确性。
  3. 实验结果表明，GatorTron-3.9B模型在F1分数上显著优于其他模型，验证了叙事特征的有效性和重要性。

📝 摘要（中文）

癌症治疗已知会引入心脏毒性，影响患者的治疗效果和生存率。识别面临心衰风险的癌症患者对于改善治疗结果至关重要。本研究利用电子健康记录（EHRs）考察了多种机器学习模型，包括传统机器学习、时间感知长短期记忆（T-LSTM）和大语言模型（LLMs），以识别癌症患者的心衰风险。研究从佛罗里达大学健康系统中筛选出12,806名癌症患者，其中1,602名在癌症治疗后发展为心衰。结果显示，LLM GatorTron-3.9B在F1分数上表现最佳，超越传统支持向量机39%、T-LSTM深度学习模型7%及广泛使用的BERT模型5.6%。

🔬 方法详解

问题定义：本研究旨在解决癌症患者心衰风险识别的准确性不足问题。现有方法在处理电子健康记录时，难以充分利用复杂的医疗信息，导致识别效果不佳。

核心思路：论文提出通过大语言模型（LLMs）和叙事特征的结合，提升对癌症患者心衰风险的识别能力。这种设计旨在利用语言模型强大的文本理解能力，提取更丰富的临床信息。

技术框架：整体架构包括数据预处理、特征提取、模型训练和评估四个主要阶段。首先，从电子健康记录中提取结构化和叙事特征，然后使用不同的机器学习模型进行训练和评估。

关键创新：最重要的创新点在于引入叙事特征，这些特征通过结构化医疗编码提取，显著提高了特征密度和模型性能。这一方法与传统模型的本质区别在于其对文本信息的深度挖掘能力。

关键设计：在模型训练中，采用了GatorTron-3.9B作为大语言模型，并通过优化超参数和损失函数，确保模型在处理复杂医疗数据时的稳定性和准确性。

📊 实验亮点

实验结果显示，GatorTron-3.9B模型在F1分数上优于传统支持向量机39%、T-LSTM深度学习模型7%及BERT模型5.6%。这一显著提升验证了叙事特征在提高模型性能方面的重要性。

🎯 应用场景

该研究的潜在应用领域包括癌症治疗中的风险管理和个性化医疗。通过准确识别心衰风险，医生可以更好地制定治疗方案，减少心脏毒性对患者的影响，从而提高患者的生存率和生活质量。未来，该方法有望推广至其他疾病的风险识别和管理中。

📄 摘要（原文）

Cancer treatments are known to introduce cardiotoxicity, negatively impacting outcomes and survivorship. Identifying cancer patients at risk of heart failure (HF) is critical to improving cancer treatment outcomes and safety. This study examined machine learning (ML) models to identify cancer patients at risk of HF using electronic health records (EHRs), including traditional ML, Time-Aware long short-term memory (T-LSTM), and large language models (LLMs) using novel narrative features derived from the structured medical codes. We identified a cancer cohort of 12,806 patients from the University of Florida Health, diagnosed with lung, breast, and colorectal cancers, among which 1,602 individuals developed HF after cancer. The LLM, GatorTron-3.9B, achieved the best F1 scores, outperforming the traditional support vector machines by 39%, the T-LSTM deep learning model by 7%, and a widely used transformer model, BERT, by 5.6%. The analysis shows that the proposed narrative features remarkably increased feature density and improved performance.