LeNEPA: No-Augmentation Next-Latent Prediction for Time-Series Representation Learning

📄 arXiv: 2607.00958v1 📥 PDF

作者: Alexander Chemeris, Ming Jin, Randall Balestriero

分类: cs.LG

发布日期: 2026-07-01

备注: 9 pages, 4 figures, 6 tables; accepted by the 12th Mining and Learning from Time Series (KDD MILETS 2026); source code and artifacts: https://github.com/langotime/lenepa-milets-2026

💡 一句话要点

提出LeNEPA以解决时间序列自监督学习中的增强依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列 自监督学习 潜在嵌入 无增强学习 SIGReg正则化 数据挖掘 模型泛化 表示学习

📋 核心要点

  1. 现有的时间序列自监督学习方法对视图和增强的依赖限制了其在不同数据集上的泛化能力。
  2. 本文提出LeNEPA，采用无增强的下一个潜在嵌入预测目标，利用SIGReg正则化来提高模型的稳定性和性能。
  3. 实验结果表明，LeNEPA在PTB-XL和Diag数据集上均表现出色，学习曲线显示其在早期表示获取上更为迅速。

📝 摘要（中文）

时间序列在现代数据挖掘应用中至关重要，但现有的自监督学习方法往往依赖于特定领域的视图和增强选择。本文研究了在预训练信号家族变化后，固定配置的自监督学习方法的表现，提出了一种无增强的下一个潜在嵌入预测架构LeNEPA。LeNEPA用SIGReg基础的各向同性正则化替代了传统NEPA中的停止梯度/EMA稳定化，并在轻量化的投影空间中计算预测损失。通过在PTB-XL和Diag数据集上的实验，LeNEPA在保持方法特定配置不变的情况下，展示了更快的表示学习速度和更好的性能。

🔬 方法详解

问题定义：本文旨在解决时间序列自监督学习中对数据增强的依赖问题。现有方法在不同数据集上表现不一致，尤其是在未经过调优的情况下，导致泛化能力不足。

核心思路：LeNEPA通过引入无增强的下一个潜在嵌入预测目标，避免了传统方法中的增强依赖，采用SIGReg正则化来增强模型的稳定性和泛化能力。

技术框架：LeNEPA的整体架构包括一个因果骨干网络，利用轻量化的投影空间计算预测损失，且该空间在评估时被丢弃。

关键创新：LeNEPA的主要创新在于其无增强的潜在预测目标和SIGReg正则化的结合，这与传统NEPA方法的停止梯度/EMA稳定化形成了显著对比。

关键设计：在模型设计中，LeNEPA采用了轻量化的投影空间来计算损失，确保了在不同数据集上的一致性表现，并通过SIGReg正则化来提高模型的各向同性特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LeNEPA在PTB-XL和Diag数据集上均表现优异，尤其是在早期表示获取上，LeNEPA在2-5k次更新后即可达到80%的最终AUROC/AUPRC增益，相比之下，JEPA需要5-10k次更新。此外，CauKer预训练的LeNEPA变体在单次种子最佳检查点运行中达到了77.65%的UCR-128随机森林准确率，接近其他基线方法的表现。

🎯 应用场景

LeNEPA的研究成果在多个领域具有广泛的应用潜力，包括工业监测、金融数据分析和生理信号处理等。其无增强的学习策略能够有效降低模型的调优时间，提高在不同数据集上的泛化能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Time series are central to modern data mining applications, from industrial telemetry and server metrics to finance and physiology, yet time-series self-supervised learning often depends on view and augmentation choices that encode domain-specific invariances. We study how an SSL recipe behaves when its method-specific configuration is reused unchanged after the pretraining signal family changes, framing this as a fixed-recipe stress test rather than a comparison against optimally tuned methods. We introduce Latent Euclidean Next-Embedding Prediction Architecture (LeNEPA), a no-augmentation next-latent-token objective with a causal backbone. LeNEPA replaces the stop-gradient/EMA stabilization used by vanilla NEPA with SIGReg-based isotropy regularization and computes the predictive loss in a lightweight projected space that is discarded for evaluation. We compare LeNEPA with an ECG-tuned JEPA recipe under a fixed-horizon frozen-probe protocol on PTB-XL and Diag, a synthetic diagnostic corpus generated with Aionoscope. Both methods are retrained independently on each dataset while keeping their method-specific recipes unchanged. In this protocol, the ECG-tuned JEPA recipe is strong in-domain on PTB-XL but weaker when reused unchanged on Diag, whereas LeNEPA preserves useful frozen-probe gains on both datasets. Learning curves suggest faster early representation acquisition: LeNEPA reaches 80% of its final AUROC/AUPRC gain after 2--5k updates, compared with 5--10k updates for the faster JEPA readout. As a separate external frozen-encoder check, a CauKer-pretrained LeNEPA variant reaches 77.65% mean UCR-128 Random-Forest accuracy in a single-seed, best-checkpoint run, within 1.16 points of Mantis and within 0.24 points of MOMENT (77.89%). Overall, the results support no-augmentation latent prediction as a useful candidate recipe for low-retuning time-series SSL.