Zero-Shot ECG Classification with Multimodal Learning and Test-time Clinical Knowledge Enhancement
作者: Che Liu, Zhongwei Wan, Cheng Ouyang, Anand Shah, Wenjia Bai, Rossella Arcucci
分类: eess.SP, cs.AI, cs.LG
发布日期: 2024-03-11 (更新: 2024-07-02)
备注: Accepted by ICML2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出多模态学习框架以解决无监督心电图分类问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心电图分类 多模态学习 自监督学习 临床知识 大型语言模型 零样本学习 数据增强
📋 核心要点
- 现有的心电图自监督学习方法往往忽视了临床报告中的重要知识，限制了其在下游任务中的应用。
- 本文提出的MERL框架通过多模态学习结合心电图和文本报告，实现了零样本分类，避免了对标注样本的依赖。
- 在六个公共数据集上，MERL的平均AUC得分为75.2%，比使用10%标注数据的线性探测eSSL方法高出3.2%。
📝 摘要（中文）
心电图（ECG）是临床上用于检测心律失常的重要非侵入性诊断工具。尽管心电图自监督学习（eSSL）方法在未标注数据的表示学习中展现出潜力，但往往忽视了报告中蕴含的临床知识。为了解决这些问题，本文提出了多模态心电图表示学习（MERL）框架。通过对心电图记录及相关报告的多模态学习，MERL能够实现零样本心电图分类，消除了下游任务对训练数据的需求。同时，提出的临床知识增强提示工程（CKEPE）方法利用大型语言模型（LLMs）挖掘外部临床知识数据库，生成更具描述性的提示，减少LLM生成内容中的幻觉现象，从而提升零样本分类的效果。基于MERL，本文在六个公共心电图数据集上进行了首次基准测试，结果显示MERL在性能上优于eSSL方法。
🔬 方法详解
问题定义：本文旨在解决现有心电图自监督学习方法在缺乏标注样本时的分类能力不足，尤其是未能充分利用临床报告中的知识。
核心思路：通过提出多模态心电图表示学习（MERL）框架，结合心电图数据和相关文本报告，实现零样本分类，减少对训练数据的依赖。
技术框架：MERL框架包括两个主要模块：一是多模态学习模块，负责从心电图和文本中提取特征；二是临床知识增强提示工程（CKEPE），利用大型语言模型生成描述性提示。
关键创新：MERL的核心创新在于结合多模态学习与临床知识，利用LLMs生成更具描述性的提示，从而减少生成内容的幻觉现象，显著提升分类性能。
关键设计：在模型设计上，MERL采用了特定的损失函数以优化多模态特征的融合，同时在提示生成过程中引入了外部专家验证的临床知识数据库，以提高提示的准确性和有效性。
🖼️ 关键图片
📊 实验亮点
MERL在六个公共心电图数据集上的平均AUC得分为75.2%，相较于使用10%标注数据的线性探测eSSL方法提高了3.2%。这一结果表明，MERL在零样本分类任务中具有显著的优势，展示了其在临床应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括医疗诊断、远程监护和智能健康管理等。通过实现高效的零样本心电图分类，MERL框架能够帮助医生更快速地做出诊断决策，提升临床工作效率，未来可能在心脏病检测和管理中发挥重要作用。
📄 摘要（原文）
Electrocardiograms (ECGs) are non-invasive diagnostic tools crucial for detecting cardiac arrhythmic diseases in clinical practice. While ECG Self-supervised Learning (eSSL) methods show promise in representation learning from unannotated ECG data, they often overlook the clinical knowledge that can be found in reports. This oversight and the requirement for annotated samples for downstream tasks limit eSSL's versatility. In this work, we address these issues with the Multimodal ECG Representation Learning (MERL}) framework. Through multimodal learning on ECG records and associated reports, MERL is capable of performing zero-shot ECG classification with text prompts, eliminating the need for training data in downstream tasks. At test time, we propose the Clinical Knowledge Enhanced Prompt Engineering (CKEPE) approach, which uses Large Language Models (LLMs) to exploit external expert-verified clinical knowledge databases, generating more descriptive prompts and reducing hallucinations in LLM-generated content to boost zero-shot classification. Based on MERL, we perform the first benchmark across six public ECG datasets, showing the superior performance of MERL compared against eSSL methods. Notably, MERL achieves an average AUC score of 75.2% in zero-shot classification (without training data), 3.2% higher than linear probed eSSL methods with 10\% annotated training data, averaged across all six datasets. Code and models are available at https://github.com/cheliu-computation/MERL