Delta-JEPA: Learning Action-Sensitive World Models via Latent Difference Decoding
作者: Zhenghao Zhang, Yuanxiang Wang, Zhenyu Guan, Yujia Yang, Bingkang Shi, Tianyu Zong, Hongzhu Yi, Guoqing Chao, Xingchen Chen, Tiankun Yang, Chenxi Bao, Tao Yu, Jingjing Zhou, Jungang Xu
分类: cs.AI
发布日期: 2026-06-30
💡 一句话要点
提出Delta-JEPA以解决视觉世界模型中动作敏感性不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉世界模型 动作敏感性 潜在差异解码 深度学习 强化学习 规划算法
📋 核心要点
- 现有的视觉世界模型在动作敏感性方面存在不足，导致潜在表示可能崩溃为不敏感的形式。
- 本文提出Delta-JEPA，通过潜在差异动作解码器（LDAD）增强潜在前向预测，直接利用潜在位移进行动作重建。
- 在四个视觉连续控制任务中，Delta-JEPA在规划性能上显著优于JEPA和其他表示学习的基线方法。
📝 摘要（中文）
学习用于规划的视觉世界模型需要对动作敏感的紧凑潜在动态，但现有的无重建联合嵌入目标可能导致动作不敏感的表示。本文提出Delta-JEPA，这是一种端到端的无重建世界模型，通过潜在差异动作解码器（LDAD）增强潜在前向预测。与从连接的端点嵌入推断动作的逆解码器不同，LDAD通过连续观测之间的潜在位移重建执行的动作。这种位移级别的监督直接规范了过渡几何：相邻嵌入不能在不丢失动作信息的情况下崩溃，不同动作被鼓励引起可区分的潜在变化。Delta-JEPA仅使用潜在预测和动作重建，避免了像素重建和分布匹配正则化器。在四个视觉连续控制任务中，Delta-JEPA在规划上优于基于JEPA和表示学习的世界模型基线。消融实验表明，基于位移的动作解码始终比端点连接更有效，动作敏感性分析显示出更清晰的动作条件潜在响应。这些结果表明，监督潜在差异是一种简单有效的机制，用于抵抗崩溃和动作敏感的世界模型学习。
🔬 方法详解
问题定义：本文旨在解决现有视觉世界模型在动作敏感性不足的问题，现有方法可能导致潜在表示崩溃为不敏感的形式，影响规划性能。
核心思路：Delta-JEPA的核心思路是通过潜在差异动作解码器（LDAD）来增强潜在前向预测，利用连续观测之间的位移信息重建执行的动作，从而保持动作敏感性。
技术框架：Delta-JEPA的整体架构包括潜在预测模块和动作重建模块。潜在预测模块负责生成潜在状态，而动作重建模块则通过LDAD从潜在位移中重建动作。
关键创新：Delta-JEPA的关键创新在于引入了位移级别的监督机制，使得相邻嵌入在不丢失动作信息的情况下无法崩溃，同时不同动作能够引起可区分的潜在变化，这与传统的逆解码器方法有本质区别。
关键设计：在设计上，Delta-JEPA避免了像素重建和分布匹配正则化器，专注于潜在预测和动作重建，确保了模型的简洁性和高效性。
🖼️ 关键图片
📊 实验亮点
在四个视觉连续控制任务中，Delta-JEPA的规划性能显著优于JEPA和其他基线方法，消融实验表明基于位移的动作解码始终比端点连接更有效，且动作敏感性分析显示出更清晰的动作条件潜在响应，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能游戏等，能够为这些领域提供更为敏感和高效的世界模型，提升智能体的决策能力和规划效率。未来，Delta-JEPA可能在更复杂的动态环境中展现出更大的应用价值。
📄 摘要（原文）
Learning visual world models for planning requires compact latent dynamics that remain sensitive to actions, yet reconstruction-free joint-embedding objectives can collapse to action-insensitive representations. We propose Delta-JEPA, an end-to-end reconstruction-free world model that augments latent forward prediction with a Latent Difference Action Decoder (LDAD). Unlike inverse decoders that infer actions from concatenated endpoint embeddings, LDAD reconstructs the executed action from the latent displacement between consecutive observations. This displacement-level supervision directly regularizes transition geometry: adjacent embeddings cannot collapse without losing action information, and different actions are encouraged to induce distinguishable latent changes for rollout-based planning. Delta-JEPA uses only latent prediction and action reconstruction, avoiding pixel reconstruction and distribution-matching regularizers. Across four visual continuous-control tasks, Delta-JEPA improves planning over JEPA-based and representation-learning world model baselines. Ablations show that displacement-based action decoding is consistently more effective than endpoint concatenation, and action-sensitivity analyses show clearer action-conditioned latent responses. These results indicate that supervising latent differences is a simple and effective mechanism for collapse-resistant and action-sensitive world model learning.