JEPA-WAM: Stage-Level Joint-Embedding Prediction for World-Action Models in Robot Manipulation
作者: Xiao Liu, Yuguang Yang, Xi Wang, Kai Jiang, Cheng Chi, Yong Xu, Wenchao Ding, Yilun Chen, Yan Wang
分类: cs.RO
发布日期: 2026-08-11
💡 一句话要点
提出JEPA-WAM以解决机器人操作中的阶段级未来预测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 阶段级预测 多模态观察 任务指令 世界动作模型 联合嵌入预测 智能制造 RoboTwin
📋 核心要点
- 现有方法通常将未来简化为短期视频片段，无法有效描述任务的阶段性进展。
- JEPA-WAM通过引入Stage-JEPA，结合短期物理未来与阶段级语义未来，提升了任务执行的准确性与效率。
- 在50个RoboTwin 2.0任务中，JEPA-WAM的成功率达到90.25%，并显著减少了执行步骤，展示了其优越性。
📝 摘要（中文）
通用机器人策略旨在将多模态观察和语言任务指令映射到多样化任务的动作。然而，现有方法通常将未来表示为固定的短视频动作片段，这种短期未来虽然能够捕捉局部场景演变，但并未明确描述任务如何从当前阶段进展到下一个阶段。为此，本文区分了机器人操作中的两种互补未来：短期物理未来和阶段级语义未来。我们提出JEPA-WAM，通过Stage-JEPA增强基于Motus的世界动作模型（WAM），利用冻结的V-JEPA2编码器提取当前状态表示，并预测下一个推断阶段的潜在目标。在50个RoboTwin 2.0任务中，JEPA-WAM实现了90.25%的整体成功率，并相较于最强基线减少了成功执行步骤的平均数量5.97%。
🔬 方法详解
问题定义：本文旨在解决现有机器人操作方法在任务阶段性未来预测上的不足，现有方法仅关注短期物理未来，缺乏对任务进展的明确描述。
核心思路：JEPA-WAM通过引入Stage-JEPA，结合短期物理未来和阶段级语义未来，提供了一种新的预测框架，以更好地指导机器人在复杂任务中的决策过程。
技术框架：JEPA-WAM的整体架构包括Motus基础的世界动作模型（WAM）和Stage-JEPA模块。Stage-JEPA利用冻结的V-JEPA2编码器提取当前状态表示，并预测下一个阶段的潜在目标。
关键创新：最重要的技术创新在于将阶段级语义未来与短期物理未来结合，形成了一个更全面的任务理解框架，显著提升了机器人在复杂任务中的表现。
关键设计：在设计中，使用了冻结的V-JEPA2编码器以确保稳定的状态表示，并通过目标条件的联合嵌入预测架构来实现阶段预测，优化了损失函数以提高预测精度。
🖼️ 关键图片
📊 实验亮点
JEPA-WAM在50个RoboTwin 2.0任务中实现了90.25%的成功率，相较于最强基线减少了5.97%的执行步骤，展现了其在机器人操作中的显著优势和有效性。
🎯 应用场景
该研究的潜在应用领域包括智能制造、服务机器人和自动化物流等，能够显著提升机器人在复杂环境中的操作能力和任务执行效率。未来，JEPA-WAM有望在多模态交互和自主学习等领域发挥更大作用。
📄 摘要（原文）
Generalist robot policies aim to map multimodal observations and linguistic task instructions to actions across diverse tasks. However, existing methods typically represent the future as a fixed, short video-action chunk. This short-term future captures local scene evolution for action execution, but it does not explicitly describe the stage-level future that specifies how a task should progress from its current stage to the next. We therefore distinguish two complementary futures for robot manipulation: a short-term physical future to capture local scene evolution and a stage-level semantic future to represent task progress. We introduce JEPA-WAM, which augments a Motus-based World Action Model (WAM) with Stage-JEPA, a goal-conditioned Joint-Embedding Predictive Architecture (JEPA) predictor. Given the current observation and task instruction, Stage-JEPA uses a frozen V-JEPA2 encoder to extract the current-state representation and predicts the latent target of the next inferred stage. Across 50 RoboTwin 2.0 tasks in clean and randomized environments, JEPA-WAM achieves 90.25% overall success and reduces the mean number of execution steps in successful rollouts by 5.97% relative to the strongest baseline.