Large Language Model-informed ECG Dual Attention Network for Heart Failure Risk Prediction

📄 arXiv: 2403.10581v2 📥 PDF

作者: Chen Chen, Lei Li, Marcel Beetz, Abhirup Banerjee, Ramneek Gupta, Vicente Grau

分类: q-bio.QM, cs.AI, cs.CL, cs.LG, eess.SP

发布日期: 2024-03-15 (更新: 2024-03-22)

备注: Under journal revision

DOI: 10.1109/TBDATA.2025.3536922

💡 一句话要点

提出双重注意力网络以提高心力衰竭风险预测精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心力衰竭 心电图 深度学习 注意力机制 风险预测 大型语言模型 数据不平衡 临床应用

📋 核心要点

  1. 心力衰竭的早期检测面临挑战，现有方法在低风险和高风险患者之间的预测能力存在不足。
  2. 提出了一种双重注意力ECG网络，结合跨导联和导联特定的时间注意力模块，以捕捉复杂的ECG特征。
  3. 在UK Biobank的两个特定队列中，模型的C-index分别为0.6349和0.5805，显著优于现有方法。

📝 摘要（中文）

心力衰竭（HF）是一个重大的公共健康挑战，全球死亡率不断上升。早期检测和预防HF能够显著降低其影响。本文提出了一种新方法，通过12导联心电图（ECG）预测HF风险。我们设计了一种轻量级的双重注意力ECG网络，旨在捕捉复杂的ECG特征，以实现早期HF风险预测，尽管低风险和高风险组之间存在显著的不平衡。该网络结合了跨导联注意力模块和12个导联特定的时间注意力模块，专注于跨导联交互和每个导联的局部动态。为了进一步缓解模型过拟合，我们利用大型语言模型（LLM）在公共ECG报告数据集上进行预训练。实验结果表明，LLM-informed的预训练显著提升了HF风险预测的效果。

🔬 方法详解

问题定义：本文旨在解决心力衰竭风险预测中的低高风险患者不平衡问题，现有方法在此方面表现不佳，导致预测准确性不足。

核心思路：提出的双重注意力网络通过结合跨导联和导联特定的时间注意力模块，能够更好地捕捉ECG信号中的复杂特征，从而提高HF风险预测的准确性。

技术框架：整体架构包括一个跨导联注意力模块和12个导联特定的时间注意力模块，首先进行ECG特征提取，然后通过LLM进行预训练，最后在特定队列上进行微调。

关键创新：最重要的创新在于将大型语言模型与ECG数据结合，通过预训练提升模型的泛化能力，显著改善HF风险预测的效果。

关键设计：网络结构采用轻量级设计，损失函数选择适合不平衡数据的形式，注意力模块的参数设置经过优化，以确保模型在不同导联间的有效信息交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用LLM进行预训练后，模型在UKB-HYP和UKB-MI队列中的C-index分别达到0.6349和0.5805，显著优于现有竞争方法，表明双重注意力设计在提高可解释性和预测准确性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括心脏病学中的早期筛查和风险评估，能够为临床医生提供更准确的HF风险预测，从而改善患者管理和治疗决策。未来，该方法可能在其他心电图分析任务中得到推广，推动心脏病学的智能化发展。

📄 摘要（原文）

Heart failure (HF) poses a significant public health challenge, with a rising global mortality rate. Early detection and prevention of HF could significantly reduce its impact. We introduce a novel methodology for predicting HF risk using 12-lead electrocardiograms (ECGs). We present a novel, lightweight dual-attention ECG network designed to capture complex ECG features essential for early HF risk prediction, despite the notable imbalance between low and high-risk groups. This network incorporates a cross-lead attention module and twelve lead-specific temporal attention modules, focusing on cross-lead interactions and each lead's local dynamics. To further alleviate model overfitting, we leverage a large language model (LLM) with a public ECG-Report dataset for pretraining on an ECG-report alignment task. The network is then fine-tuned for HF risk prediction using two specific cohorts from the UK Biobank study, focusing on patients with hypertension (UKB-HYP) and those who have had a myocardial infarction (UKB-MI).The results reveal that LLM-informed pre-training substantially enhances HF risk prediction in these cohorts. The dual-attention design not only improves interpretability but also predictive accuracy, outperforming existing competitive methods with C-index scores of 0.6349 for UKB-HYP and 0.5805 for UKB-MI. This demonstrates our method's potential in advancing HF risk assessment with clinical complex ECG data.