REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

📄 arXiv: 2402.07016v1 📥 PDF

作者: Yinghao Zhu, Changyu Ren, Shiyun Xie, Shukai Liu, Hangyuan Ji, Zixiang Wang, Tao Sun, Long He, Zhoujun Li, Xi Zhu, Chengwei Pan

分类: cs.AI

发布日期: 2024-02-10

💡 一句话要点

提出REALM以解决多模态电子健康记录分析中的知识缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态EHR 知识图谱 大语言模型 检索增强生成 临床预测 医学实体提取 自适应融合网络

📋 核心要点

  1. 现有模型在整合多模态EHR数据时，缺乏医学背景知识，导致临床预测能力受限。
  2. REALM框架通过大语言模型和GRU模型结合外部知识图谱，提升了多模态EHR的表示能力。
  3. 在MIMIC-III数据集上，REALM在死亡率和再入院任务中显著优于基线模型，验证了其有效性。

📝 摘要（中文）

多模态电子健康记录（EHR）数据的整合显著提升了临床预测能力。然而，现有模型在处理临床任务时常缺乏相关的医学背景知识，尤其是在利用外部知识图谱（KG）时，主要集中于结构化知识提取，忽视了非结构化数据和高维医学知识的语义。为此，本文提出了REALM，一个基于检索增强生成（RAG）的框架，以增强多模态EHR表示。该框架通过大语言模型（LLM）编码临床笔记和GRU模型编码时间序列EHR数据，提取任务相关的医学实体，并与专业标注的外部知识图谱（PrimeKG）进行匹配。最后，采用自适应多模态融合网络整合提取的知识与多模态EHR数据。实验结果表明，REALM在MIMIC-III的死亡率和再入院任务上表现优越，强调了各模块的有效性。

🔬 方法详解

问题定义：本文旨在解决现有多模态电子健康记录分析中缺乏医学背景知识的问题，现有方法主要集中于结构化知识提取，忽视了非结构化数据和高维医学知识的语义。

核心思路：REALM框架通过结合大语言模型和外部知识图谱，提取任务相关的医学实体，从而增强多模态EHR的表示能力，确保生成内容的医学一致性。

技术框架：该框架主要包括三个模块：首先，使用大语言模型编码长文本的临床笔记；其次，利用GRU模型处理时间序列EHR数据；最后，采用自适应多模态融合网络整合提取的知识与EHR数据。

关键创新：REALM的创新点在于通过检索增强生成的方法，结合结构化和非结构化知识，解决了传统方法在医学背景知识提取上的不足，确保了生成结果的医学一致性。

关键设计：在模型设计中，采用了大语言模型进行长文本编码，GRU模型处理时间序列数据，并通过专业标注的知识图谱进行医学实体的匹配，确保了知识的准确性和一致性。具体的损失函数和参数设置在实验中进行了优化。

🖼️ 关键图片

img_0

📊 实验亮点

在MIMIC-III数据集上，REALM框架在死亡率和再入院任务中表现优越，显著提高了预测准确性，相较于基线模型提升幅度达到XX%（具体数据待补充），验证了各模块的有效性和整体框架的优势。

🎯 应用场景

REALM框架在医疗领域具有广泛的应用潜力，能够提升电子健康记录的分析能力，支持临床决策和预测。通过更好地整合多模态数据和医学知识，REALM有助于改善患者管理和健康结果，未来可能推动个性化医疗的发展。

📄 摘要（原文）

The integration of multimodal Electronic Health Records (EHR) data has significantly improved clinical predictive capabilities. Leveraging clinical notes and multivariate time-series EHR, existing models often lack the medical context relevent to clinical tasks, prompting the incorporation of external knowledge, particularly from the knowledge graph (KG). Previous approaches with KG knowledge have primarily focused on structured knowledge extraction, neglecting unstructured data modalities and semantic high dimensional medical knowledge. In response, we propose REALM, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR representations that address these limitations. Firstly, we apply Large Language Model (LLM) to encode long context clinical notes and GRU model to encode time-series EHR data. Secondly, we prompt LLM to extract task-relevant medical entities and match entities in professionally labeled external knowledge graph (PrimeKG) with corresponding medical knowledge. By matching and aligning with clinical standards, our framework eliminates hallucinations and ensures consistency. Lastly, we propose an adaptive multimodal fusion network to integrate extracted knowledge with multimodal EHR data. Our extensive experiments on MIMIC-III mortality and readmission tasks showcase the superior performance of our REALM framework over baselines, emphasizing the effectiveness of each module. REALM framework contributes to refining the use of multimodal EHR data in healthcare and bridging the gap with nuanced medical context essential for informed clinical predictions.