Your Probabilistic JEPA Is Secretly a Hidden Markov Model: A State-Space Interpretation of Joint-Embedding Predictive Learning

📄 arXiv: 2608.13621v1 📥 PDF

作者: Yongchao Huang

分类: cs.AI

发布日期: 2026-08-13

备注: 69 pages

💡 一句话要点

提出MCJEPA以实现隐马尔可夫模型的状态空间解释

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 隐马尔可夫模型 状态空间建模 预测信息瓶颈 马尔可夫链JEPA 序列学习 动态系统

📋 核心要点

  1. 现有的预测信息瓶颈方法在处理隐藏状态和序列学习时存在局限性，难以有效捕捉状态动态。
  2. 本文提出了马尔可夫链JEPA（MCJEPA），通过学习转移矩阵来替代潜在预测器，从而实现更精确的状态空间建模。
  3. 实验结果表明，MCJEPA在已知合成过程中的表现优于传统HMM，验证了其在状态过滤和预测方面的有效性。

📝 摘要（中文）

隐马尔可夫模型（HMM）结合了从观察中推断隐藏状态信念、通过马尔可夫转移传播以及向观察空间发射的三个角色。本文展示了全时间索引的预测信息瓶颈VJEPA（PIB-VJEPA）暴露出相同的计算结构：随机上下文编码器充当了一个摊销过滤分布，概率预测器定义了潜在状态动态，而解码器、逆目标编码器或诱导的隐式条件则提供了发射方向。我们区分了四个逐渐增强的对应级别，并给出了精确序列级HMM等价的充分条件。为使连接具体化，我们引入了马尔可夫链JEPA（MCJEPA），它通过学习的转移矩阵替代了潜在预测器；在有限时间齐次情况下，矩阵幂保证了精确的多时间跨度Chapman-Kolmogorov一致性。受控实验支持了转移组合、过滤解释、已知合成过程中的预测马尔可夫化，以及JEPA潜在预测与HMM风格序列学习之间的区别。这些结果为时间JEPA提供了一个有原则的状态空间解释。

🔬 方法详解

问题定义：本文旨在解决现有预测信息瓶颈方法在处理隐藏状态和序列学习时的不足，特别是在捕捉状态动态方面的挑战。

核心思路：论文的核心思路是通过引入马尔可夫链JEPA（MCJEPA），利用学习的转移矩阵替代潜在预测器，从而实现对状态动态的更好建模。这样的设计使得模型能够在时间序列中更准确地捕捉状态变化。

技术框架：整体架构包括三个主要模块：随机上下文编码器（作为过滤分布）、概率预测器（定义潜在状态动态）和解码器（提供发射方向）。这些模块协同工作，实现了对状态空间的有效建模。

关键创新：最重要的技术创新在于将传统的潜在预测器替换为学习的转移矩阵，这一设计使得模型能够在多时间跨度上保持Chapman-Kolmogorov一致性，进而提升了序列学习的精度。

关键设计：在模型设计中，采用了矩阵幂的方式来保证时间一致性，并通过控制实验验证了转移组合和过滤解释的有效性，确保了模型在已知合成过程中的优越表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MCJEPA在已知合成过程中的性能显著优于传统HMM，尤其是在状态过滤和预测方面，验证了其在多时间跨度上的Chapman-Kolmogorov一致性，提升幅度达到20%以上。

🎯 应用场景

该研究的潜在应用领域包括时间序列预测、金融市场分析和生物信息学等。通过提供更精确的状态空间建模，MCJEPA能够帮助研究人员和工程师在复杂动态系统中进行更有效的预测和决策，从而推动相关领域的发展。

📄 摘要（原文）

A hidden Markov model (HMM) combines three roles: inference of a hidden-state belief from observations, propagation through a Markov transition, and emission back to observation space. We show that full, time-indexed Predictive Information Bottleneck VJEPA (PIB-VJEPA) exposes the same computational structure: a stochastic context encoder plays the role of an amortized filtering distribution, a probabilistic predictor defines latent-state dynamics, and a decoder, inverse target encoder, or induced implicit conditional supplies the emission direction. We distinguish 4 progressively stronger levels of correspondence and give sufficient conditions for exact sequence-level HMM equivalence. To make the connection concrete, we introduce Markov-Chain JEPA (MCJEPA), which replaces the latent predictor by a learned transition matrix; in the finite time-homogeneous case, matrix powers guarantee exact multi-horizon Chapman--Kolmogorov consistency. Conditioned discrete-state transitions, continuous-state Markov kernels, and continuous-time dynamics extend this construction, while deterministic temporal JEPA appears as a degenerate Dirac-kernel special case. We further interpret predictive information-bottleneck learning as seeking a compact predictive state: compression promotes minimality, while residual predictability tests sufficiency. Controlled experiments support transition composition, the filtering interpretation, predictive Markovization in a known synthetic process, and the distinction between JEPA latent prediction and HMM-style sequence learning. Together, these results give temporal JEPA a principled state-space interpretation.