Multimodal Variational Autoencoder for Low-cost Cardiac Hemodynamics Instability Detection

📄 arXiv: 2403.13658v3 📥 PDF

作者: Mohammod N. I. Suvon, Prasun C. Tripathi, Wenrui Fan, Shuo Zhou, Xianyuan Liu, Samer Alabed, Venet Osmani, Andrew J. Swift, Chen Chen, Haiping Lu

分类: cs.LG, cs.CV

发布日期: 2024-03-20 (更新: 2024-07-05)

💡 一句话要点

提出多模态变分自编码器以解决低成本心脏血流动力学不稳定性检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 变分自编码器 心脏血流动力学 非侵入性检测 机器学习 医疗影像 心电图 胸部X光

📋 核心要点

  1. 现有方法多集中于单一模态，且在标记数据稀缺的情况下表现不佳，限制了心脏血流动力学不稳定性检测的准确性。
  2. 本文提出的CardioVAE_X,G通过结合低成本的CXR和ECG模态，采用三流预训练策略，旨在提升特征学习的有效性。
  3. 实验结果表明，CardioVAE_X,G在AUROC和准确率上分别达到0.79和0.77，显著优于现有方法，支持临床决策制定。

📝 摘要（中文）

近年来，心脏血流动力学不稳定性（CHDI）的非侵入性检测主要集中在单一数据模态的机器学习技术应用上，如心脏磁共振成像（MRI）。然而，这些方法在标记患者数据有限的情况下效果不佳，且仅有少数研究探讨了多模态方法。为应对这些局限性，本文提出了一种新颖的多模态变分自编码器（CardioVAE_X,G），将低成本的胸部X光（CXR）和心电图（ECG）模态结合，采用在大规模未标记数据集上的预训练。CardioVAE_X,G引入了一种新的三流预训练策略，以学习共享和模态特定特征，从而支持单模态和多模态数据集的微调。经过全面评估，CardioVAE_X,G在非侵入性CHDI预测中表现出色，AUROC为0.79，准确率为0.77，显著推动了该领域的发展。

🔬 方法详解

问题定义：本文旨在解决心脏血流动力学不稳定性（CHDI）的非侵入性检测问题。现有方法多依赖于单一模态，且在标记数据稀缺的情况下效果不佳，限制了其应用。

核心思路：论文提出的CardioVAE_X,G通过结合低成本的胸部X光（CXR）和心电图（ECG）模态，采用三流预训练策略，旨在同时学习共享特征和模态特定特征，从而提高模型的泛化能力和准确性。

技术框架：CardioVAE_X,G的整体架构包括三个主要模块：CXR模态流、ECG模态流和共享特征流。首先在大规模未标记数据集上进行预训练，然后在标记数据集上进行微调，以实现更好的性能。

关键创新：最重要的技术创新点在于引入了三流预训练策略，使得模型能够有效整合不同模态的信息，克服了传统方法的局限性，尤其是在数据稀缺的情况下。

关键设计：模型的关键设计包括损失函数的选择，确保共享特征和模态特定特征的有效学习。此外，网络结构采用了适应性卷积层，以增强对不同模态特征的提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CardioVAE_X,G在AUROC和准确率上分别达到0.79和0.77，显著优于现有的单模态方法，展示了其在非侵入性CHDI预测中的有效性和可靠性，支持临床决策的制定。

🎯 应用场景

该研究的潜在应用领域包括心脏病学、临床监测和医疗影像分析。通过提供低成本且高效的CHDI检测方法，CardioVAE_X,G能够帮助医疗工作者在资源有限的情况下做出更准确的临床决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advancements in non-invasive detection of cardiac hemodynamic instability (CHDI) primarily focus on applying machine learning techniques to a single data modality, e.g. cardiac magnetic resonance imaging (MRI). Despite their potential, these approaches often fall short especially when the size of labeled patient data is limited, a common challenge in the medical domain. Furthermore, only a few studies have explored multimodal methods to study CHDI, which mostly rely on costly modalities such as cardiac MRI and echocardiogram. In response to these limitations, we propose a novel multimodal variational autoencoder ($\text{CardioVAE}\text{X,G}$) to integrate low-cost chest X-ray (CXR) and electrocardiogram (ECG) modalities with pre-training on a large unlabeled dataset. Specifically, $\text{CardioVAE}\text{X,G}$ introduces a novel tri-stream pre-training strategy to learn both shared and modality-specific features, thus enabling fine-tuning with both unimodal and multimodal datasets. We pre-train $\text{CardioVAE}\text{X,G}$ on a large, unlabeled dataset of $50,982$ subjects from a subset of MIMIC database and then fine-tune the pre-trained model on a labeled dataset of $795$ subjects from the ASPIRE registry. Comprehensive evaluations against existing methods show that $\text{CardioVAE}\text{X,G}$ offers promising performance (AUROC $=0.79$ and Accuracy $=0.77$), representing a significant step forward in non-invasive prediction of CHDI. Our model also excels in producing fine interpretations of predictions directly associated with clinical features, thereby supporting clinical decision-making.