JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling

📄 arXiv: 2608.09381v1 📥 PDF

作者: Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

分类: cs.RO

发布日期: 2026-08-10

备注: 22 pages, 7 figures. Project page: https://spritewithoutice.github.io/JEPA_WAM/

💡 一句话要点

提出JEPA-WAM以解决机器人控制中的状态转移建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人控制 状态转移建模 潜在世界动作模型 视觉-语言-动作 深度学习 多模态学习 动作预测

📋 核心要点

  1. 现有的世界动作模型在状态转移建模上存在显著的成本和效率问题，限制了机器人控制的稳健性。
  2. JEPA-WAM通过在预训练的V-JEPA空间中构建潜在WAM，结合潜在转移预测与连续动作生成，提供了一种新的解决方案。
  3. 在LIBERO-Plus上，JEPA-WAM达到了79.2%的最佳结果，而其预训练的$π_{0.5}$实例则达到了86.3%，展示了强大的性能提升。

📝 摘要（中文）

稳健的机器人控制依赖于明确建模状态转移，但视频生成的世界动作模型（WAM）引入了显著的部署成本。现有的潜在WAM避免了显式的未来生成，但通常会压缩预测表示或将预测建模与用于动作生成的表示分离。本文提出JEPA-WAM，这是一种构建在预训练V-JEPA空间中的潜在WAM，通过共享预测器将潜在转移预测与连续动作生成耦合。JEPA-WAM预测一个空间结构化的联合当前-未来目标，捕捉当前和未来观察之间的任务共享视觉时间结构，同时保持密集的补丁级对应关系。通过共享预测器，转移监督直接塑造主干，从中提取专用表示用于动作预测。

🔬 方法详解

问题定义：本文旨在解决机器人控制中状态转移建模的不足，现有方法在处理未来状态生成时面临高成本和效率低下的问题。

核心思路：JEPA-WAM通过在预训练的V-JEPA空间中构建潜在WAM，耦合潜在转移预测与连续动作生成，旨在提高预测的准确性和效率。

技术框架：JEPA-WAM的整体架构包括一个共享预测器，该预测器负责生成当前和未来状态的联合目标，并通过转移监督直接影响主干网络，提取用于动作预测的专用表示。

关键创新：JEPA-WAM的主要创新在于其空间结构化的联合当前-未来目标预测，能够捕捉任务共享的视觉时间结构，并保持补丁级的对应关系，这与现有方法的分离预测和表示生成方式有本质区别。

关键设计：在设计中，采用了共享预测器来实现转移监督，确保主干网络的有效性，同时在损失函数中引入了针对预测精度的优化目标，以提升动作生成的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JEPA-WAM在LIBERO-Plus数据集上取得了79.2%的最佳结果，且其预训练的$π_{0.5}$实例达到了86.3%，显著优于没有大规模机器人策略预训练的基线，展示了在视觉和空间转变下的强泛化能力。

🎯 应用场景

JEPA-WAM的研究成果在机器人控制、自动化操作和人机交互等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的决策能力，该技术能够推动智能机器人在实际任务中的应用，如家庭服务、工业自动化和医疗辅助等。未来，JEPA-WAM有望进一步优化机器人学习与适应能力，促进智能系统的普及与发展。

📄 摘要（原文）

Robust robot control benefits from explicitly modeling state transitions, but video-generation world action models (WAMs) introduce substantial deployment cost. Existing latent WAMs avoid explicit future generation, but often compress predictive representations or separate predictive modeling from the representations used for action generation. We introduce JEPA-WAM, a latent WAM built in a pretrained V-JEPA space, which couples latent transition prediction with continuous action generation through a shared predictor. JEPA-WAM predicts a spatially structured joint current-future target that captures task-shared visual temporal structure between current and future observations, while preserving dense patch-level correspondence. Through the shared predictor, transition supervision directly shapes the backbone, from which dedicated representations are extracted for action prediction. The same design can also be instantiated in pretrained VLA policies while preserving their original perception and action pathways. On LIBERO-Plus, JEPA-WAM achieves 79.2%, the best result without large-scale robot-policy pretraining, while its pretrained $π_{0.5}$ instantiation reaches 86.3%, achieving the best overall performance. Experiments on RoboTwin 2.0 and real-world bimanual manipulation further demonstrate strong generalization under visual and spatial shifts.