The Impact of Temporal Context Length and Encoding Strategies on Self-Supervised ECG Representation Learning
作者: Ahmed Sameh, Ramzi Al-Sharawi, Yogatheesan Varatharajah
分类: cs.LG, eess.SP
发布日期: 2026-08-13
备注: Accepted at the 48th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC 2026). 6 pages, 2 figures, 1 table
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于时间上下文长度与编码策略的自监督ECG表示学习方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 心电图分析 时间上下文 连续编码器 异常检测 临床应用
📋 核心要点
- 现有自监督ECG模型在时间上下文和编码策略选择上存在不确定性，可能影响节律推断和长期一致性。
- 本文通过控制实验，探讨不同时间范围和前端表示对ECG表示学习的影响，提出了更长时间上下文和连续编码器的使用。
- 实验结果显示，5分钟和10分钟模型在异常节律检测和患者级检索中表现最佳，且连续补丁嵌入优于离散化令牌。
📝 摘要（中文）
自监督心电图（ECG）模型通常在几秒钟的ECG信号上进行训练，且越来越多地使用离散化的令牌序列。然而，这些选择是否牺牲了节律推断和长期一致性所需的信息仍不明确。本文在Icentia11k单导联数据集上进行了一项受控研究，变化了输入时间范围（16秒、1分钟、5分钟和10分钟）和前端表示（连续卷积补丁嵌入与固定向量量化令牌），同时保持Transformer骨干网络和训练协议不变。结果表明，超出16秒快照的时间上下文增加可以提高转移性能和检索准确性，5分钟和10分钟模型表现最佳，表明能够更好地捕捉缓慢变化的节律动态和个体特征。所有评估的时间范围中，连续补丁嵌入优于离散化令牌，表明量化可能会丢失临床相关的波形细节。这些发现激励了强调扩展上下文和连续编码器的ECG基础模型，以用于临床预测和基于相似性的应用。
🔬 方法详解
问题定义：本文旨在解决自监督ECG模型在时间上下文长度和编码策略选择上的不确定性，现有方法可能导致信息丢失，影响节律推断和长期一致性。
核心思路：通过对输入时间范围和前端表示的系统性变化，探索如何提高ECG表示学习的性能，特别是强调使用更长的时间上下文和连续编码器。
技术框架：研究采用Icentia11k单导联数据集，设置不同的输入时间范围（16秒、1分钟、5分钟、10分钟）和前端表示（连续卷积补丁嵌入与固定向量量化令牌），保持Transformer骨干网络不变，进行异常节律检测和患者级检索。
关键创新：本文的主要创新在于发现更长的时间上下文（5分钟和10分钟）显著提高了模型的转移能力和检索准确性，同时连续补丁嵌入在保留临床相关波形细节方面优于离散化令牌。
关键设计：实验中，使用了不同的时间范围和表示方式，保持Transformer结构不变，评估模型在异常节律检测和跨会话稳定性方面的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，5分钟和10分钟的模型在异常节律检测中表现最佳，检索准确性显著提高，连续补丁嵌入在所有时间范围内均优于离散化令牌，表明量化可能丢失重要的临床信息。
🎯 应用场景
该研究的潜在应用领域包括临床心电监测、远程医疗和个性化医疗。通过改进ECG表示学习，能够更准确地检测心律失常，提升患者的健康管理和预警能力，具有重要的临床价值和社会影响。
📄 摘要（原文）
Self-supervised electrocardiogram (ECG) models are often trained on a few seconds of ECG signal and, increasingly, on discretized token sequences. It remains unclear whether these choices sacrifice information needed for rhythm inference and longitudinal consistency in real-world ambulatory recordings. We present a controlled study on the Icentia11k single-lead dataset that varies (i) the input horizon (16 seconds, 1 minute, 5 minutes, and 10 minutes) and (ii) the front-end representation (continuous convolutional patch embeddings vs. fixed vector-quantized tokens), while holding the Transformer backbone and training protocol constant. Representations are assessed by downstream abnormal rhythm detection and by patient-level retrieval that probes cross-session stability. Our results show that increasing temporal context beyond 16-second snapshots yields stronger transfer and higher retrieval accuracy, with the strongest performance achieved by the 5- and 10-minute models, indicating improved capture of slow-varying rhythm dynamics and individual-specific structure. Across all evaluated horizons, continuous patch embeddings outperform discretized tokens, suggesting that quantization can discard clinically relevant waveform detail. These findings motivate ECG foundation models that emphasize extended context and continuous encoders for clinical prediction and similarity-based applications. Our code and pretrained models are publicly available at https://github.com/muha-0/ecg-ssl-representation-learning.