A Lightweight Self-Supervised Learning Framework for Multivariate Time Series using Hierarchical-JEPA on ECG Data

📄 arXiv: 2607.01145v1 📥 PDF

作者: Siwon Kim

分类: cs.LG, eess.SP

发布日期: 2026-07-01

备注: 25 pages, 7 figures. Code will be made publicly available soon

💡 一句话要点

提出轻量级自监督学习框架ER-JEPA以解决ECG数据分析问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 心电图分析 多变量时间序列 层次化模型 视觉变换器 联合嵌入预测 医疗数据分析

📋 核心要点

  1. 现有方法在医疗数据分析中面临有限标注数据与大量未标注数据的挑战，导致模型性能受限。
  2. 本文提出ER-JEPA框架，通过两阶段结构和层次化集成JEPA，增强多变量时间序列的表示能力。
  3. 在12导联ECG数据上进行实验，模型在ST-MEM基准测试中表现出色，实现了快速计算和资源节约。

📝 摘要（中文）

在医疗领域的数据分析中，常常面临有限的目标数据集和大量未标注的通用数据集的挑战。在这种情况下，自监督学习（SSL）方法能够有效利用大规模数据集，成为心电图（ECG）分析的热门选择。本文提出了一种轻量级自监督学习框架——事件重构联合嵌入预测架构（ER-JEPA），其灵感来源于心脏病学家的诊断方法。ER-JEPA具有两阶段结构，能够为每个时间间隔构建表示，并将这些表示作为单变量时间序列进行处理。此外，ER-JEPA还集成了两个联合嵌入预测架构（JEPA），并采用视觉变换器（ViT）作为骨干网络。该模型在约180,000个10秒录音上进行预训练，并在ST-MEM基准测试中实现了最先进的下游性能，具有快速计算和最低资源使用的优势。

🔬 方法详解

问题定义：本文旨在解决医疗领域中ECG数据分析时，如何有效利用有限的标注数据和大量未标注数据的问题。现有方法通常无法充分挖掘未标注数据的潜力，导致模型性能不足。

核心思路：ER-JEPA框架的核心思路是通过自监督学习构建多层次的时间序列表示，利用两阶段结构和层次化的JEPA集成来提升模型对复杂任务的预测能力。

技术框架：ER-JEPA的整体架构包括两个主要阶段：第一阶段为每个时间间隔构建表示，第二阶段将这些表示作为单变量时间序列进行处理。框架中集成了两个JEPA，形成层次化JEPA（H-JEPA），并采用ViT作为骨干网络。

关键创新：最重要的技术创新在于提出了层次化JEPA结构，使模型能够编码多层次的抽象表示，从而在复杂任务中实现更好的预测性能。这一设计与传统的单一JEPA方法有本质区别。

关键设计：在模型设计中，关键参数包括时间间隔的选择、损失函数的设置以及ViT的具体结构。这些设计确保了模型在处理多变量时间序列时的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ER-JEPA在ST-MEM基准测试中实现了最先进的下游性能，具体表现为在处理12导联ECG数据时，模型在准确性和计算效率上均优于现有方法，展现出显著的性能提升和资源节约。

🎯 应用场景

该研究的潜在应用领域包括心脏病监测、疾病预警系统和个性化医疗等。通过有效分析ECG数据，ER-JEPA框架能够帮助医生更好地进行诊断和治疗决策，提升医疗服务的质量和效率。未来，该框架可能扩展到其他生物信号分析和多模态数据融合的领域。

📄 摘要（原文）

Data analysis in the medical domain often encounters scenarios involving a limited target dataset and a large, unannotated dataset with a general distribution. Under such circumstances, self-supervised learning (SSL) methods are highly effective for utilizing large datasets, making them a popular choice for electrocardiogram (ECG) analysis. This work presents the Event Reconstruction Joint-Embedding Predictive Architecture (ER-JEPA), a lightweight SSL framework for multivariate time series, whose name and two-fold hierarchical structure are inspired by the diagnostic approach of cardiologists. At its core, ER-JEPA features: (1) a two-stage structure that constructs representations for each time interval and subsequently processes these representations as a univariate time series, (2) the hierarchical integration of two Joint-Embedding Predictive Architectures (JEPAs), and (3) a Vision Transformer (ViT) backbone. The structural concatenation of two JEPAs categorizes the model as a Hierarchical JEPA (H-JEPA), designed to encode multiple levels of abstract representations for enhanced prediction on complex tasks. This study reports a successful application of H-JEPA to 12-lead ECG data as a multivariate time series alongside an analysis of the sensitivity of hierarchical representation during the pretraining stage. Pretrained on approximately 180,000 10-second recordings, the model achieves state-of-the-art downstream performance on the ST-MEM benchmark, with rapid computation and minimal resource usage.