SWIM: Learning What Matters from Behaviors for JEPA World Models

📄 arXiv: 2610.36662v1 📥 PDF

作者: Jiaming Hu, Shi Bo, Yan Zheng, Tian Wang, Florian Dubost, Alejandro Mottini, Junze Liu, Arvind Srinivasan, Kai Zhong, Kun Qian, Sharon Gao, Vianne Gao, Houyu Zhang, Qingjun Cui

分类: cs.RO, cs.CV

发布日期: 2026-10-27

备注: 25 pages, 1 figure

💡 一句话要点

提出SWIM以解决JEPAs在任务相关状态信息捕捉中的不足

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联合嵌入预测 状态加权 逆动力学模型 机器人操作 自主决策

📋 核心要点

  1. 现有的JEPA方法未能有效捕捉任务相关的状态信息，导致潜在空间中的物理状态不可靠。
  2. SWIM通过逆动力学模型从离线轨迹中学习状态权重，量化特征对动作预测的贡献，提升规划效果。
  3. 在五个模拟机器人操作任务中，SWIM的规划成功率显著提高，优于传统的均匀状态加权方法。

📝 摘要（中文）

联合嵌入预测架构（JEPA）使得世界模型能够通过预测未来嵌入来进行图像规划。然而，现有的视觉预测目标未能明确纳入任务相关的状态信息，导致物理状态在潜在空间中可能无法可靠捕捉。为了解决这一问题，本文提出了SWIM（状态加权与逆动力学模型），通过从离线轨迹中学习状态权重，量化每个特征对动作预测的贡献，并定义加权状态度量进行状态监督训练。实验表明，SWIM在五个模拟机器人操作任务中，规划成功率显著高于均匀状态加权。

🔬 方法详解

问题定义：本文旨在解决JEPA在规划过程中未能有效捕捉任务相关状态信息的问题。现有方法通常采用均匀加权，导致冗余特征过度计数和无关特征干扰任务相关差异。

核心思路：SWIM通过逆动力学模型学习状态权重，基于当前状态和观察到的未来位移预测记录的动作，从而量化每个状态特征对动作预测的贡献。这样设计的目的是为了提高规划的有效性和准确性。

技术框架：SWIM的整体架构包括数据收集、状态权重学习和规划三个主要模块。在数据收集阶段，使用离线轨迹获取状态和动作数据；在状态权重学习阶段，利用逆动力学模型进行特征权重的学习；最后在规划阶段，基于学习到的权重进行有效的状态监督训练。

关键创新：SWIM的核心创新在于通过逆动力学模型学习状态权重，使得每个特征的影响力得以量化，解决了传统方法中均匀加权的不足。这一方法在规划过程中无需额外的计算，提升了效率。

关键设计：SWIM的设计中，关键参数包括状态特征的选择和权重的学习机制，损失函数则基于动作预测的准确性进行优化。网络结构采用了适合逆动力学建模的深度学习框架，以确保学习过程的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在五个模拟机器人操作任务中，SWIM的规划成功率相比均匀状态加权方法提升了显著的效果，具体数据表明成功率提高了XX%（具体数据未知），展示了其在实际应用中的有效性和优势。

🎯 应用场景

SWIM的研究成果在机器人操作、自动驾驶和智能制造等领域具有广泛的应用潜力。通过更有效地捕捉任务相关状态信息，SWIM能够提升机器人在复杂环境中的自主决策能力，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

Joint-embedding predictive architectures (JEPAs) enable world models to plan from images by predicting future embeddings. However, their visual prediction objectives do not explicitly incorporate task-relevant state information, so the physical state that determines task progress may not be reliably captured in the latent space. Supervising world models with simulator state can make planning more informative, but it requires deciding which state features matter. Features are typically selected by hand or weighted uniformly, and a uniform weighting gives every standardized state feature equal influence, so redundant coordinates can overcount the same variation, while irrelevant ones can obscure task-relevant differences. To address this limitation, we propose SWIM (State Weighting with Inverse-Dynamics Model), which learns state weights from offline trajectories by predicting recorded actions from current states and observed future displacements. The learned weights quantify each feature's contribution to action prediction and define a weighted state metric for state-supervised training, which we demonstrate by aligning latent and state distances. The inverse-dynamics model is used only during training, so the resulting world model plans from images with no additional planning-time computation. Across five simulated robotic manipulation tasks, SWIM consistently improves planning success over uniform state weighting.