CADENCE: A Cardiac Atom Dictionary for Interpretable Neural Concept Extraction from ECG Foundation Models

📄 arXiv: 2607.25244v1 📥 PDF

作者: Yixuan Duan, Arjun Naik, Sadeer Al-Kindi, Wei Qiu

分类: cs.AI

发布日期: 2026-07-28

备注: 21 pages, 5 main figures, 15 appendix figures, 6 tables

💡 一句话要点

提出CADENCE框架以实现心电图模型的可解释性概念提取

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图 可解释性 稀疏自编码器 生理概念 临床预测 机器学习 模型透明性

📋 核心要点

  1. 现有的心电图基础模型在临床任务中表现良好，但其内部生理知识的透明性不足，难以解释模型的决策过程。
  2. CADENCE框架通过将ECG基础模型分解为可解释的生理概念字典，利用稀疏自编码器提取心脏原子，增强模型的可解释性。
  3. 实验结果表明，CADENCE在临床表型和波形形态学的预测上显著优于传统密集嵌入，AUROC分别提高至0.95和0.90。

📝 摘要（中文）

心电图（ECG）基础模型在临床任务中表现良好，但其表示中编码的生理知识仍然不够透明。本文提出CADENCE框架，将ECG基础模型分解为可人类理解和查询的生理概念字典。通过BatchTopK稀疏自编码器，CADENCE将超过九百万个ECG标记的第六层嵌入分解为8192个稀疏心脏原子。这些原子在临床表型和波形形态学上比单个密集嵌入维度更具对齐性，能够恢复心律失常、传导异常、心肌梗死和复极模式等。实验结果显示，稀疏原子探针在表型、形态学和年龄预测上表现优于密集探针，且每个预测都归因于一小组可解释的原子。CADENCE为发现和审计ECG基础模型中编码的生理知识提供了可扩展的框架。

🔬 方法详解

问题定义：本文旨在解决心电图基础模型的可解释性问题，现有方法无法清晰展示模型内部的生理知识和决策依据。

核心思路：CADENCE框架通过将ECG基础模型分解为可查询的生理概念字典，利用稀疏自编码器提取心脏原子，以实现对模型内部表示的解释。

技术框架：CADENCE的整体架构包括数据输入、BatchTopK稀疏自编码器、心脏原子提取、原子描述生成和验证等主要模块，形成一个完整的概念提取流程。

关键创新：CADENCE的核心创新在于使用稀疏原子代替传统的密集嵌入，使得模型在临床表型和波形形态学上的对齐性显著提高，且每个预测都能归因于少量可解释的原子。

关键设计：在设计中，使用BatchTopK稀疏自编码器对第六层嵌入进行因子分解，设置8192个稀疏心脏原子，并通过自动化的LLM管道生成和验证原子描述，确保描述的准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CADENCE在临床表型和波形形态学的预测上表现优异，最佳稀疏原子在表型预测中AUROC达到0.95，显著高于传统密集维度的0.78，且在独立外部ECG数据集上保持一致的预测性能，展示了其强大的概念恢复能力。

🎯 应用场景

CADENCE框架具有广泛的应用潜力，能够用于临床心电图分析、疾病预测及生理知识的审计。通过提供可解释的模型输出，CADENCE有助于医生更好地理解和信任模型的决策，推动智能医疗的发展。未来，该框架还可扩展至其他生理信号的分析与解释。

📄 摘要（原文）

Foundation models for 12-lead electrocardiograms (ECGs) transfer well across clinical tasks, but the physiological knowledge encoded in their representations remains opaque. We present CADENCE, a framework that decomposes an ECG foundation model into a human-interpretable, queryable dictionary of physiological concepts. Using a BatchTopK sparse autoencoder, CADENCE factorizes Layer-6 embeddings from more than nine million ECG tokens into 8,192 sparse cardiac atoms. These atoms align better than individual dense embedding dimensions with clinical phenotypes and waveform morphology, recovering arrhythmias, conduction abnormalities, infarction and repolarization patterns, chamber and axis findings, and lead- and beat-phase-specific waveform primitives. At Layer 6, the best atoms achieve mean AUROCs of 0.88 for clinical phenotypes and 0.90 for morphology, versus 0.78 and 0.83 for the best dense dimensions. Sparse atom probes match or outperform dense probes for phenotype, morphology, and age prediction while attributing each prediction to a small set of interpretable atoms; phenotype AUROC improves from 0.93 to 0.95. Atom-space geometry recovers physiologically coherent relationships, and targeted atom ablation selectively changes frozen downstream outputs. An automated LLM pipeline generates and quantitatively validates atom descriptions by predicting held-out activations. On independent external ECG datasets, CADENCE recovers overlapping concepts and maintains consistent phenotype-prediction performance. CADENCE provides a scalable framework for discovering and auditing the physiological knowledge encoded by ECG foundation models.