PhyLatent: Learning Dynamics-Relevant Representations for JEPA World Models

📄 arXiv: 2608.05720v1 📥 PDF

作者: Xi Zeng, Haojie Ren, Ziying Song

分类: cs.CV

发布日期: 2026-08-06

备注: 16 pages, 5 figures

💡 一句话要点

提出PhyLatent以解决JEPA世界模型中的动态表示问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态表示学习 JEPA模型 物理不变性 模型预测控制 反事实动态

📋 核心要点

  1. 现有JEPA世界模型在防止全局潜在崩溃方面存在不足，无法有效保留物理状态和动作后果。
  2. PhyLatent通过物理不变性、物理可识别性和反事实动态三条训练路径，增强了动态相关的表示学习。
  3. 在OGBench-Cube上，PhyLatent将三种失败率显著降低，并提高了模型预测控制的成功率，展示了其有效性。

📝 摘要（中文）

我们提出了PhyLatent，这是一种针对联合嵌入预测架构（JEPA）世界模型的动态相关训练目标。我们的关键观察是，防止全局潜在崩溃并不能确保表示保留物理状态和动作后果。我们识别了JEPA世界模型中的三种失败模式：物理不变性崩溃、物理可识别性崩溃和反事实动态崩溃。PhyLatent通过物理不变性、物理可识别性和反事实动态三条训练路径来解决这些问题，并在OGBench-Cube上显著降低了失败率，同时提高了模型预测控制的成功率。

🔬 方法详解

问题定义：论文要解决的问题是JEPA世界模型在动态表示学习中的不足，尤其是物理状态和动作后果的保留问题。现有方法未能有效防止物理不变性、可识别性和反事实动态的崩溃，导致模型性能下降。

核心思路：PhyLatent的核心思路是通过引入物理不变性、物理可识别性和反事实动态的训练路径，来增强模型对物理状态的理解和预测能力。这种设计旨在确保模型在学习过程中保持对物理现象的敏感性。

技术框架：整体架构包括三个主要模块：物理状态基础、未来表示对齐和反事实分支分离。每个模块针对特定的崩溃模式进行优化，确保模型在不同场景下的表现稳定。

关键创新：最重要的技术创新点在于针对JEPA模型的三种崩溃模式提出了具体的解决方案，使得模型不仅防止全局崩溃，还能有效保留物理信息。这与现有方法的单一崩溃防止策略形成了鲜明对比。

关键设计：在关键设计上，PhyLatent采用了静态视觉不变性、潜在去噪等技术细节，确保模型在训练过程中能够有效学习到动态相关的表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PhyLatent在OGBench-Cube上将三种失败率分别降低至7.53%、0.95%和4.62%，并将模型预测控制的成功率从70.0%提升至78.1%。在相同架构和规划器下，TwoRooms的成功率进一步提升至98.0%，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等，能够为这些领域提供更可靠的动态模型，提升系统的决策能力和适应性。未来，PhyLatent的设计理念也可能被扩展到其他类型的预测模型中，推动更广泛的应用。

📄 摘要（原文）

We propose PhyLatent, a dynamics-relevant training objective for JointEmbedding Predictive Architecture (JEPA) world models. Our key observation is that preventing global latent collapse does not ensure that a representation preserves physical states and action consequences. We identify three failure modes in JEPA world models: physical invariance collapse, physical identifiability collapse, and counterfactual dynamics collapse. PhyLatent addresses them through three training pathways: physical invariance, physical identifiability, and counterfactual dynamics, implemented with physical state grounding, future representation alignment, static visual invariance, counterfactual branch separation, and latent denoising. On OGBench-Cube, PhyLatent reduces the three failure rates from 15.60%, 6.71%, and 8.41% to 7.53%, 0.95%, and 4.62%, respectively, and improves model predictive control (MPC) success from 70.0% to 78.1%. With the same architecture and planner, it further improves success from 81.0% to 98.0% on TwoRooms and remains competitive on Reacher and PushT. These results show that global non-collapse alone is insufficient for learning a reliable JEPA worldmodel state space.