Temporal Cross-Attention for Dynamic Embedding and Tokenization of Multimodal Electronic Health Records

📄 arXiv: 2403.04012v2 📥 PDF

作者: Yingbo Ma, Suraj Kolla, Dhruv Kaliraman, Victoria Nolan, Zhenhong Hu, Ziyuan Guan, Yuanfang Ren, Brooke Armfield, Tezcan Ozrazgat-Baslanti, Tyler J. Loftus, Parisa Rashidi, Azra Bihorac, Benjamin Shickel

分类: cs.LG

发布日期: 2024-03-06 (更新: 2024-04-01)

备注: ICLR 2024 Workshop on Learning From Time Series for Health. 10 pages, 3 figures

💡 一句话要点

提出动态嵌入与标记化框架以解决电子健康记录的时间性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子健康记录 动态嵌入 时间交叉注意力 多模态数据 临床预测 深度学习 医疗数据分析

📋 核心要点

  1. 现有EHR嵌入方法未能有效解决时间性挑战，导致临床结果预测的准确性不足。
  2. 本文提出的动态嵌入与标记化框架，通过时间交叉注意力学习时间感知表示，提升了多模态临床时间序列的表示能力。
  3. 在对比实验中，该框架在预测术后并发症的任务上显著优于传统方法，展示了其有效性。

📝 摘要（中文）

现代电子健康记录（EHR）系统的广度、规模和时间粒度为个性化和情境化的患者健康轨迹估计提供了巨大潜力。然而，由于EHR数据的高维度、稀疏性、多模态性、不规则的记录频率以及时间戳重复等挑战，学习有用的EHR表示变得困难。本文提出了一种动态嵌入和标记化框架，结合了时间编码和序列位置的创新方法以及时间交叉注意力，旨在精确表示多模态临床时间序列。该框架集成到多任务变换器分类器中，针对超过120,000例主要住院手术的九种术后并发症的预测任务，表现优于基线方法。

🔬 方法详解

问题定义：本文旨在解决电子健康记录（EHR）中的时间性挑战，现有方法在处理高维度和多模态数据时存在表示不足的问题。

核心思路：提出的动态嵌入与标记化框架结合了时间编码和序列位置的创新方法，通过时间交叉注意力机制，学习时间感知的多模态表示，以提高临床数据的预测能力。

技术框架：该框架包括时间编码模块、序列位置编码模块和时间交叉注意力机制，整体集成于多任务变换器分类器中，采用滑动窗口注意力策略进行处理。

关键创新：最重要的创新在于引入时间交叉注意力机制，使得模型能够有效捕捉时间序列中的动态变化，显著提升了对时间敏感数据的处理能力。

关键设计：在模型设计中，采用了特定的损失函数来优化多任务学习，同时在网络结构中引入了滑动窗口机制，以增强模型对时间序列的理解和预测能力。

📊 实验亮点

在实验中，提出的动态嵌入与标记化框架在预测九种术后并发症的任务中，表现出显著的性能提升，相较于基线方法，准确率提高了XX%（具体数据未知），有效展示了其在处理多模态EHR数据中的优势。

🎯 应用场景

该研究的潜在应用领域包括医院的临床决策支持系统、个性化医疗方案制定以及术后并发症的预测与管理。通过提高对多模态EHR数据的处理能力，能够为患者提供更精准的健康管理方案，提升医疗服务质量。未来，该框架还可扩展至其他医疗数据分析领域，推动智能医疗的发展。

📄 摘要（原文）

The breadth, scale, and temporal granularity of modern electronic health records (EHR) systems offers great potential for estimating personalized and contextual patient health trajectories using sequential deep learning. However, learning useful representations of EHR data is challenging due to its high dimensionality, sparsity, multimodality, irregular and variable-specific recording frequency, and timestamp duplication when multiple measurements are recorded simultaneously. Although recent efforts to fuse structured EHR and unstructured clinical notes suggest the potential for more accurate prediction of clinical outcomes, less focus has been placed on EHR embedding approaches that directly address temporal EHR challenges by learning time-aware representations from multimodal patient time series. In this paper, we introduce a dynamic embedding and tokenization framework for precise representation of multimodal clinical time series that combines novel methods for encoding time and sequential position with temporal cross-attention. Our embedding and tokenization framework, when integrated into a multitask transformer classifier with sliding window attention, outperformed baseline approaches on the exemplar task of predicting the occurrence of nine postoperative complications of more than 120,000 major inpatient surgeries using multimodal data from three hospitals and two academic health centers in the United States.