EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

📄 arXiv: 2606.12979 📥 PDF

作者: Vedant Pandya

分类: cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出EPM-JEPA以解决JEPA模型在动态变化中的适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: JEPA模型 动态适应 权重调制 机器学习 分布转移 经验注入 低秩适应 机器人控制

📋 核心要点

  1. 现有JEPA模型在测试时动态变化时，静态预测器的权重无法适应，导致性能下降。
  2. 本文提出EPM-JEPA，通过操作员侧调制机制，利用低秩权重增量来动态调整预测器的权重。
  3. 实验结果表明，EPM-JEPA在无记忆基线上的表现提升了1.90%，而EI-JEPA则未能超越基线，显示出权重调制的优势。

📝 摘要（中文）

JEPA系列世界模型使用静态预测器，其权重在测试时动态与训练时不一致时不会适应。本文比较了两种在分布转移下将累积经验融入JEPA预测器的机制：操作数侧注入（EI-JEPA）和操作员侧调制（EPM-JEPA）。在预注册的比较实验中，EPM-JEPA与EI-JEPA的表现差异为4.74%，而EPM-JEPA在无记忆基线上的表现提升了1.90%。主要贡献在于机制分析，揭示了动态过程的独立性，并为后续的PEM-JEPA奠定基础。

🔬 方法详解

问题定义：本文旨在解决JEPA系列模型在测试时动态变化时的适应性不足问题。现有方法依赖静态预测器，无法有效应对分布转移带来的挑战。

核心思路：提出EPM-JEPA，通过操作员侧调制机制，将经验表示生成低秩权重增量，从而动态调整预测器的权重，以适应新的环境变化。

技术框架：整体架构包括经验表示的生成、低秩权重增量的计算以及对预测器权重的调制。主要模块包括经验注入模块和权重调制模块。

关键创新：EPM-JEPA的核心创新在于通过操作员侧调制实现权重的动态调整，与传统的静态预测器形成鲜明对比，提升了模型在动态环境下的适应能力。

关键设计：在设计中，采用了低秩适应（LoRA）技术来生成权重增量，并进行了多次实验验证其有效性，确保了模型在不同种子下的稳定性。实验中还使用了特定的损失函数来优化预测器的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EPM-JEPA在无记忆基线上的表现提升了1.90%，而EI-JEPA则未能超越基线，表明权重调制的有效性。此外，EPM-JEPA与EI-JEPA的表现差异为4.74%，为模型的动态适应性提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和动态环境下的决策支持系统。通过提升模型在动态变化中的适应能力，EPM-JEPA能够在复杂环境中提供更可靠的预测和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

JEPA-family world models use a static predictor whose weights do not adapt when test-time dynamics diverge from training. We compare two mechanisms for incorporating accumulated experience into a JEPA predictor under distribution shift: operand-side injection, where a compressed experience representation is added as a residual to the predictor's hidden state (EI-JEPA), and operator-side modulation, where the same representation generates low-rank weight deltas via LoRA applied to the predictor's weights (EPM-JEPA). On a pre-registered comparison (Moving MNIST, gravity shift), EPM-JEPA (D_shift^{n=50} = 0.7848 +/- 0.0078, three seeds) differs from EI-JEPA (0.8238) by delta = 4.74% - Outcome C: a null result - by our stated criterion, a valid outcome. As a secondary, non-pre-registered observation, EPM-JEPA improves 1.90% over a no-memory baseline (0.8000), consistently across seeds, while EI-JEPA underperforms the baseline, indicating the benefit is specific to weight-level modulation. Our primary contribution is a mechanism analysis: the D_shift^{n=50} trajectory reflects three independent dynamical processes - buffer cycling, EMA target drift, and an intrinsic LoRA settling transient of +0.021 - rather than convergence to equilibrium. These findings motivate PEM-JEPA, a physics-grounded successor addressing this dynamical-peak limitation.