Large Language Multimodal Models for 5-Year Chronic Disease Cohort Prediction Using EHR Data

📄 arXiv: 2403.04785v2 📥 PDF

作者: Jun-En Ding, Phan Nguyen Minh Thao, Wen-Chih Peng, Jian-Zhe Wang, Chun-Cheng Chug, Min-Chen Hsieh, Yun-Chien Tseng, Ling Chen, Dongsheng Luo, Chi-Te Wang, Pei-fu Chen, Feng Liu, Fang-Ming Hung

分类: cs.CL, cs.AI

发布日期: 2024-03-02 (更新: 2024-08-29)

💡 一句话要点

提出多模态大语言模型以提高慢性病预测准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 慢性病预测 多模态学习 大语言模型 电子健康记录 深度学习 注意力机制 数据融合

📋 核心要点

  1. 现有研究多依赖公开数据集，且存在数据不平衡等问题，限制了慢性病预测的准确性。
  2. 本研究提出了一种大语言多模态模型框架，结合临床笔记和实验室测试结果，利用深度学习进行慢性病风险预测。
  3. 实验结果表明，使用注意力融合的模型在多类慢性病预测中达到了73%的准确率，AUROC提升至76%。

📝 摘要（中文）

慢性疾病如糖尿病是全球主要的发病和死亡原因。尽管已有多项研究尝试使用深度学习模型进行诊断，但大多数研究存在使用公开数据集和数据不平衡等局限性。本研究从台湾医院数据库收集了五年的电子健康记录（EHR），提出了一种新颖的大语言多模态模型（LLMMs）框架，结合临床笔记和实验室测试结果进行慢性病风险预测。通过文本嵌入编码器和多头注意力层学习实验室测试值，结合深度神经网络（DNN）模块将血液特征与慢性病语义融合到潜在空间。实验结果显示，结合注意力融合的clinicalBERT和PubMed-BERT在多类慢性病和糖尿病预测中达到了73%的准确率，使用Flan T-5模型将实验室测试值转化为文本描述后，AUROC达到了76%，显著提高了早期糖尿病预测的准确性。

🔬 方法详解

问题定义：本论文旨在解决慢性病预测中的数据不平衡和模型准确性不足的问题。现有方法多依赖于公开数据集，缺乏针对特定人群的有效模型。

核心思路：提出一种结合临床笔记和实验室测试结果的大语言多模态模型（LLMMs），通过深度学习方法有效整合多种数据源，提升慢性病风险预测的准确性。

技术框架：整体架构包括文本嵌入编码器和多头注意力层，用于学习实验室测试值，结合深度神经网络（DNN）模块将血液特征与慢性病语义融合，形成潜在空间。

关键创新：本研究的创新在于将多模态数据融合到大语言模型中，利用注意力机制提升模型对不同数据源的理解能力，与传统方法相比，显著提高了预测性能。

关键设计：模型采用了文本嵌入编码器和多头注意力层，损失函数设计为适应多类分类任务，网络结构上结合了DNN模块，确保了血液特征与慢性病语义的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，结合注意力融合的clinicalBERT和PubMed-BERT模型在多类慢性病和糖尿病预测中达到了73%的准确率，使用Flan T-5模型将实验室测试值转化为文本描述后，AUROC达到了76%，相较于传统方法有显著提升。

🎯 应用场景

该研究的潜在应用领域包括医疗健康管理、慢性病监测和早期预警系统。通过提高慢性病的预测准确性，能够帮助医疗机构更好地进行患者管理和干预，降低慢性病带来的社会和经济负担，未来可能对公共卫生政策产生积极影响。

📄 摘要（原文）

Chronic diseases such as diabetes are the leading causes of morbidity and mortality worldwide. Numerous research studies have been attempted with various deep learning models in diagnosis. However, most previous studies had certain limitations, including using publicly available datasets (e.g. MIMIC), and imbalanced data. In this study, we collected five-year electronic health records (EHRs) from the Taiwan hospital database, including 1,420,596 clinical notes, 387,392 laboratory test results, and more than 1,505 laboratory test items, focusing on research pre-training large language models. We proposed a novel Large Language Multimodal Models (LLMMs) framework incorporating multimodal data from clinical notes and laboratory test results for the prediction of chronic disease risk. Our method combined a text embedding encoder and multi-head attention layer to learn laboratory test values, utilizing a deep neural network (DNN) module to merge blood features with chronic disease semantics into a latent space. In our experiments, we observe that clinicalBERT and PubMed-BERT, when combined with attention fusion, can achieve an accuracy of 73% in multiclass chronic diseases and diabetes prediction. By transforming laboratory test values into textual descriptions and employing the Flan T-5 model, we achieved a 76% Area Under the ROC Curve (AUROC), demonstrating the effectiveness of leveraging numerical text data for training and inference in language models. This approach significantly improves the accuracy of early-stage diabetes prediction.