MEIT: Multimodal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation

📄 arXiv: 2403.04945v4 📥 PDF

作者: Zhongwei Wan, Che Liu, Xin Wang, Chaofan Tao, Hui Shen, Jing Xiong, Rossella Arcucci, Huaxiu Yao, Mi Zhang

分类: cs.CL, cs.LG, eess.SP

发布日期: 2024-03-07 (更新: 2025-07-07)

备注: ACL 2025

💡 一句话要点

提出MEIT框架以解决ECG报告生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图 报告生成 多模态指令 大型语言模型 自动化诊断 临床应用 指令调优

📋 核心要点

  1. 现有方法主要集中在ECG数据的分类，忽视了ECG报告生成的自动化，导致临床工作负担加重。
  2. MEIT框架通过结合多模态指令与大型语言模型，首次实现了ECG报告的自动生成，提升了生成的灵活性与准确性。
  3. 实验结果显示，MEIT在使用超过80万份ECG报告的测试中，显著提高了报告生成的质量和一致性，展示了其实际应用潜力。

📝 摘要（中文）

心电图（ECG）是监测心脏状况的主要非侵入性诊断工具，对临床医生至关重要。尽管近期研究集中在使用ECG数据分类心脏病状，但对ECG报告生成的关注不足，导致这一过程耗时且需要临床专业知识。为自动化ECG报告生成并确保其多样性，本文提出了多模态ECG指令调优（MEIT）框架，这是首次尝试利用大型语言模型（LLMs）和多模态指令进行ECG报告生成。我们建立了基准，以评估MEIT在两个大规模ECG数据集上的表现。实验结果表明，指令调优的LLMs在报告生成质量、零样本能力、对信号扰动的韧性以及与人类专家评估的一致性方面表现优异，强调了MEIT的有效性及其在临床应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决ECG报告生成的自动化问题，现有方法多集中于ECG信号分类，缺乏对报告生成的有效支持，导致临床工作效率低下。

核心思路：MEIT框架通过结合多模态指令与大型语言模型，利用ECG信号与报告之间的表示对齐，提升了报告生成的质量与灵活性。

技术框架：MEIT框架包括数据预处理、模型训练和评估三个主要模块。首先，对ECG信号和报告进行预处理，然后利用指令调优的LLMs进行训练，最后在多个数据集上进行评估。

关键创新：MEIT的核心创新在于首次将多模态指令与LLMs结合应用于ECG报告生成，显著提升了生成报告的质量与一致性。

关键设计：在模型训练中，采用了特定的损失函数以优化信号与报告的对齐，同时调整了模型的超参数，以适应不同的ECG数据集和生成任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MEIT在九个开源大型语言模型上的测试中，生成报告的质量显著优于传统方法，尤其在零样本能力和对信号扰动的韧性方面表现突出，展示了其在实际应用中的强大潜力。

🎯 应用场景

MEIT框架具有广泛的临床应用潜力，能够帮助医生快速生成高质量的ECG报告，从而提高诊断效率，减轻医生的工作负担。此外，该方法的灵活性使其能够适应不同的医疗场景，推动智能医疗的发展。

📄 摘要（原文）

Electrocardiogram (ECG) is the primary non-invasive diagnostic tool for monitoring cardiac conditions and is crucial in assisting clinicians. Recent studies have concentrated on classifying cardiac conditions using ECG data but have overlooked ECG report generation, which is time-consuming and requires clinical expertise. To automate ECG report generation and ensure its versatility, we propose the Multimodal ECG Instruction Tuning (MEIT) framework, the first attempt to tackle ECG report generation with LLMs and multimodal instructions. To facilitate future research, we establish a benchmark to evaluate MEIT with various LLMs backbones across two large-scale ECG datasets. Our approach uniquely aligns the representations of the ECG signal and the report, and we conduct extensive experiments to benchmark MEIT with nine open-source LLMs using more than 800,000 ECG reports. MEIT's results underscore the superior performance of instruction-tuned LLMs, showcasing their proficiency in quality report generation, zero-shot capabilities, resilience to signal perturbation, and alignment with human expert evaluation. These findings emphasize the efficacy of MEIT and its potential for real-world clinical application.