Physiology-Aware CNN and Zero-Shot Multimodal LLMs for ECG Image Classification: A Comparative Study

📄 arXiv: 2606.22889v1 📥 PDF

作者: Khalil Ahammad, Derek Abbott, Mohsen Dorraki

分类: cs.LG

发布日期: 2026-06-22

💡 一句话要点

提出生理感知CNN与零-shot多模态LLMs以解决ECG图像分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图分类 多模态学习 生理感知CNN 零-shot学习 医疗影像分析 深度学习 模型比较

📋 核心要点

  1. 现有的多模态LLMs在ECG图像分类中的应用缺乏验证，且其分类性能往往接近随机水平。
  2. 本研究提出了一种生理感知的CNN模型，能够聚合来自预定义解剖导联组的特征，以提高ECG图像分类的准确性。
  3. 实验结果显示，CNN模型在内部ROC-AUC达到0.92-0.94，外部ROC-AUC为0.85-0.86，明显优于零-shot LLM的表现。

📝 摘要（中文）

多模态大型语言模型（LLMs）在解读12导联ECG图像方面的应用日益增加，但其解读往往缺乏验证。ECG图像的理解与一般图像显著不同，依赖于精确的波形形态、导联关系和准确的间隔测量。本研究探讨了零-shot多模态LLMs是否能够可靠地区分正常与异常ECG图像，并同时评估了基于CNN的模型作为临床参考。研究结果表明，CNN模型在内部测试集和外部PTB-XL数据集上表现出稳定的分类能力，而零-shot LLM的分类性能接近随机水平，因此，临床框架下的领域特定架构对于AI驱动的ECG解读仍然至关重要。

🔬 方法详解

问题定义：本研究旨在解决多模态LLMs在ECG图像分类中的可靠性问题。现有方法在解读ECG图像时，往往无法充分考虑波形形态和导联关系，导致分类性能不佳。

核心思路：论文提出了一种生理感知的CNN模型，旨在通过聚合解剖导联组的特征来提高分类的准确性。与传统的LLMs相比，该模型能够更好地捕捉ECG图像中的关键生理信息。

技术框架：整体架构包括数据预处理、特征提取和分类三个主要模块。ECG记录被转换为单页图像，随后通过生理感知CNN进行特征提取，最后进行正常与异常的二分类。

关键创新：最重要的技术创新在于LeadGroupECG模型的提出，该模型在内部测试中显著提高了分类性能，同时保持了良好的外部泛化能力。与现有方法相比，该模型能够突出解剖导联组的贡献。

关键设计：模型采用了特定的损失函数和网络结构，确保了特征的有效聚合与分类性能的提升。具体参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果显示，生理感知CNN模型在内部测试集上实现了0.92-0.94的ROC-AUC，而在外部PTB-XL数据集上达到0.85-0.86，表现出稳定的分类能力。相比之下，零-shot LLM的分类性能仅接近随机水平（ROC-AUC约为0.5），显示出传统LLMs在临床应用中的局限性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、心电图解读和智能诊断系统。通过提高ECG图像分类的准确性，能够为临床医生提供更可靠的辅助决策支持，进而改善患者的诊疗效果。未来，该方法可能在其他生理信号的解读中也具有广泛的应用前景。

📄 摘要（原文）

Multimodal large language models (LLMs) are increasingly adopted to interpret 12-lead ECG images, though the interpretations often lack validation. However, ECG image understanding significantly differs from general images as it depends on precise waveform morphology, lead relationships and accurate interval measurements. This study investigated whether zero-shot multimodal LLMs can reliably distinguish normal and abnormal ECG images and, in parallel, evaluated CNN-based models for clinically grounded references. Standard 12-lead ECG recordings were rendered as single-page images for a binary normal-abnormal classification task. Three prominent LLMs (GPT-5.2, GPT-4.1, and Gemini-2.5 Pro) were tested using a fixed zero-shot prompt across multiple runs. In parallel, a physiology-aware CNN-based model was developed with the capability to aggregate features from the predefined anatomical lead groups. The model was compared with ResNet18, DenseNet121, VGG16 baselines, and all the models were evaluated on an internal test set and external PTB-XL dataset. Across seeds, CNN-based models demonstrated stable discrimination, with average internal ROC-AUC of 0.92-0.94, and external ROC-AUC of 0.85-0.86. The proposed LeadGroupECG model significantly improved over its backbone internally without compromising external generalization. It remained competitive with other baselines, while consistently highlighting anatomical lead-group contributions. In contrast, zero-shot LLM discrimination remained near-chance (ROC-AUC around 0.5). The PR-AUC improved slightly when ECGs used a grid-based calibration background compared with the grid-free ECGs. Although multimodal LLMs can generate reasonable ECG narratives, their zero-shot diagnostic discrimination remains limited. Therefore, clinically framed, domain-specific architectures remain essential for AI-based ECG interpretation.