Fusing Echocardiography Images and Medical Records for Continuous Patient Stratification
作者: Nathan Painchaud, Jérémie Stym-Popper, Pierre-Yves Courand, Nicolas Thome, Pierre-Marc Jodoin, Nicolas Duchateau, Olivier Bernard
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-01-15 (更新: 2025-08-18)
备注: 13 pages + 2 pages of supplementary material, accepted for publication in IEEE TUFFC
DOI: 10.1109/TUFFC.2025.3600902
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于Transformer的多模态融合方法以实现高效患者分层
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 深度学习 超声心动图 Transformer 患者分层 高血压 临床评分
📋 核心要点
- 现有方法在处理多模态医疗数据时，往往无法有效融合不同来源的信息，导致患者分层不够准确。
- 本文提出了一种基于Transformer的多模态融合方法，通过标准化表示和编码器合并，提升了对高血压患者的评估能力。
- 实验结果显示，该方法在有限数据下仍能达到96.8%的AUROC，且分层结果具有较高的可重复性，误差在5.7%以内。
📝 摘要（中文）
深度学习使得从超声心动图序列中自动提取心脏功能描述符成为可能，如射血分数和应变。这些描述符与临床记录中的全局变量结合，为医生评估患者状况提供了细致的信息。本文提出了一种新方法，利用Transformer模型处理超声心动图和医疗记录中的多模态数据，以学习高血压这一难以表征的心血管病理的表示。该方法通过将每个变量投影到各自的表示空间，并使用Transformer编码器将其合并为患者的综合表示，最终实现临床评分的预测。实验结果显示，该方法在239名高血压患者的队列中表现出色，提供了对高血压影响的前所未有的细节。
🔬 方法详解
问题定义：本文旨在解决现有方法在多模态医疗数据融合中的不足，尤其是在高血压患者的分层评估上，现有方法难以准确捕捉病理的连续性。
核心思路：提出了一种基于Transformer的框架，通过将超声心动图和医疗记录中的描述符标准化并融合，形成患者的综合表示，以提高临床评分的预测准确性。
技术框架：整体架构包括两个主要阶段：首先是对每个变量进行模态特定的表示投影，其次是将这些标准化的表示输入到Transformer编码器中进行融合，最终输出患者的综合表示。
关键创新：最重要的创新在于将多模态数据的标准化表示与Transformer模型结合，形成了对高血压病理的连续性表示，这在现有方法中是前所未有的。
关键设计：在模型设计中，采用了XTab基础模型架构，损失函数采用了有序分类损失，以确保表示空间中的病理连续性，且在训练过程中使用了少于200个样本的数据，依然取得了优异的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在239名高血压患者的评估中达到了96.8%的AUROC，且在不同训练之间的分层结果具有较高的可重复性，平均绝对误差仅为5.7%。这些结果表明，该方法在处理有限数据时依然表现出色，具有重要的临床应用潜力。
🎯 应用场景
该研究的潜在应用领域包括心血管疾病的早期诊断和个性化治疗方案的制定。通过更准确的患者分层，医生可以更好地评估高血压对心脏功能的影响，从而优化治疗策略，提升患者的生活质量。未来，该方法也可扩展至其他复杂病理的研究与应用。
📄 摘要（原文）
Deep learning enables automatic and robust extraction of cardiac function descriptors from echocardiographic sequences, such as ejection fraction or strain. These descriptors provide fine-grained information that physicians consider, in conjunction with more global variables from the clinical record, to assess patients' condition. Drawing on novel Transformer models applied to tabular data, we propose a method that considers all descriptors extracted from medical records and echocardiograms to learn the representation of a cardiovascular pathology with a difficult-to-characterize continuum, namely hypertension. Our method first projects each variable into its own representation space using modality-specific approaches. These standardized representations of multimodal data are then fed to a Transformer encoder, which learns to merge them into a comprehensive representation of the patient through the task of predicting a clinical rating. This stratification task is formulated as an ordinal classification to enforce a pathological continuum in the representation space. We observe the major trends along this continuum on a cohort of 239 hypertensive patients, providing unprecedented details in the description of hypertension's impact on various cardiac function descriptors. Our analysis shows that i) the XTab foundation model's architecture allows to reach outstanding performance (96.8% AUROC) even with limited data (less than 200 training samples), ii) stratification across the population is reproducible between trainings (within 5.7% mean absolute error), and iii) patterns emerge in descriptors, some of which align with established physiological knowledge about hypertension, while others could pave the way for a more comprehensive understanding of this pathology. Code is available at https://github.com/creatis-myriad/didactic.