EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

📄 arXiv: 2606.12979v1 📥 PDF

作者: Vedant Pandya

分类: cs.LG

发布日期: 2026-06-11

备注: 16 pages, 5 figures, 9 tables, 5 code listings. Pre-registered experimental study with mechanism analysis

💡 一句话要点

提出EPM-JEPA以解决JEPA模型在动态变化中的适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: JEPA模型 动态适应 权重调制 机器学习 分布转移 经验表示 LoRA技术

📋 核心要点

  1. 现有JEPA模型在测试时无法适应动态变化，导致性能下降。
  2. 提出EPM-JEPA，通过操作员侧调制机制动态调整预测器权重，以适应分布转移。
  3. 实验结果表明，EPM-JEPA在无记忆基线之上提升了1.90%，而EI-JEPA表现不佳，显示出权重调制的优势。

📝 摘要（中文）

JEPA系列世界模型使用静态预测器，其权重在测试时动态变化时不会适应。本文比较了在分布转移下将累积经验融入JEPA预测器的两种机制：操作数侧注入（EI-JEPA）和操作员侧调制（EPM-JEPA）。在预注册的比较实验中，EPM-JEPA与EI-JEPA的表现存在4.74%的差异，且EPM-JEPA在无记忆基线之上提升了1.90%。主要贡献在于机制分析，揭示了D_shift^{n=50}轨迹反映了三个独立的动态过程，而非收敛到平衡状态。这些发现促使了PEM-JEPA的提出，旨在解决动态峰值限制问题。

🔬 方法详解

问题定义：本文旨在解决JEPA系列模型在测试时动态变化时无法适应的问题。现有方法依赖静态预测器，导致在分布转移时性能下降。

核心思路：论文提出了EPM-JEPA，通过操作员侧调制机制，将累积经验转化为低秩权重增量，从而动态调整预测器的权重，以适应新的环境。

技术框架：整体架构包括两个主要模块：经验表示的生成和权重调制。经验表示通过操作数侧注入或操作员侧调制的方式融入预测器的隐藏状态。

关键创新：EPM-JEPA的核心创新在于通过LoRA技术生成权重增量，与传统的静态权重方法相比，能够更灵活地适应动态变化。

关键设计：在实验中，EPM-JEPA的参数设置和损失函数经过精心设计，以确保在不同的动态环境中保持稳定的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EPM-JEPA在Moving MNIST任务中相较于无记忆基线提升了1.90%，而EI-JEPA则表现不佳，未能超越基线。这表明EPM-JEPA在权重调制方面的优势，能够有效应对动态变化。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能游戏等需要实时适应环境变化的系统。通过提升模型在动态环境中的适应能力，EPM-JEPA能够为这些领域提供更高效的解决方案，推动智能系统的发展。

📄 摘要（原文）

JEPA-family world models use a static predictor whose weights do not adapt when test-time dynamics diverge from training. We compare two mechanisms for incorporating accumulated experience into a JEPA predictor under distribution shift: operand-side injection, where a compressed experience representation is added as a residual to the predictor's hidden state (EI-JEPA), and operator-side modulation, where the same representation generates low-rank weight deltas via LoRA applied to the predictor's weights (EPM-JEPA). On a pre-registered comparison (Moving MNIST, gravity shift), EPM-JEPA (D_shift^{n=50} = 0.7848 +/- 0.0078, three seeds) differs from EI-JEPA (0.8238) by delta = 4.74% - Outcome C: a null result - by our stated criterion, a valid outcome. As a secondary, non-pre-registered observation, EPM-JEPA improves 1.90% over a no-memory baseline (0.8000), consistently across seeds, while EI-JEPA underperforms the baseline, indicating the benefit is specific to weight-level modulation. Our primary contribution is a mechanism analysis: the D_shift^{n=50} trajectory reflects three independent dynamical processes - buffer cycling, EMA target drift, and an intrinsic LoRA settling transient of +0.021 - rather than convergence to equilibrium. These findings motivate PEM-JEPA, a physics-grounded successor addressing this dynamical-peak limitation.