AdaJEPA: An Adaptive Latent World Model

📄 arXiv: 2606.32026v1 📥 PDF

作者: Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren

分类: cs.LG, cs.AI

发布日期: 2026-06-30

💡 一句话要点

提出AdaJEPA以解决高维观察下的规划失败问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 自适应学习 模型预测控制 动态环境 自我监督学习

📋 核心要点

  1. 现有的潜在世界模型在测试阶段通常保持不变，导致在预测不准确时规划失败，尤其是在分布变化的情况下。
  2. AdaJEPA通过在模型预测控制的闭环中进行自适应更新，利用自我监督信号来动态调整模型，提高了规划的准确性。
  3. 在多种目标达成任务中，AdaJEPA显示出显著的规划成功率提升，且每次重新规划仅需一次梯度更新。

📝 摘要（中文）

潜在世界模型通过在紧凑的潜在空间中预测未来状态，使得从高维观察中进行规划成为可能。然而，这些模型在测试时通常保持不变，当其预测不准确时，尤其是在测试时分布变化下，规划可能失败。为了解决这个问题，本文提出了AdaJEPA，一种自适应潜在世界模型，它在模型预测控制（MPC）的闭环中进行测试时自适应。AdaJEPA在训练后进行规划并执行第一个动作块，利用观察到的下一个状态转移作为自我监督的适应信号，并使用更新后的模型重新规划。这个闭环更新不断重新校准世界模型，而无需额外的专家演示。在一系列目标达成任务中，AdaJEPA显著提高了规划成功率，甚至在每个MPC重新规划步骤中只需一步梯度更新。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型在测试阶段无法适应环境变化的问题，现有方法在面对分布变化时容易导致规划失败。

核心思路：AdaJEPA通过在模型预测控制的闭环中进行自适应更新，利用观察到的状态转移作为自我监督信号，动态调整模型以提高预测准确性。

技术框架：AdaJEPA的整体架构包括训练阶段和测试阶段。在训练阶段，模型学习潜在空间的状态转移；在测试阶段，模型执行初始动作并根据观察到的结果进行自适应更新。

关键创新：最重要的创新在于将自适应更新与模型预测控制结合，使得模型能够在没有额外专家演示的情况下，实时调整以应对环境变化。

关键设计：在设计中，AdaJEPA采用了自我监督的适应信号，关键参数设置包括梯度更新的步长和模型结构的选择，以确保在每次重新规划时都能有效地调整模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多种目标达成任务中，AdaJEPA的规划成功率显著提高，实验结果显示，相较于基线方法，其在每个MPC重新规划步骤中仅需一次梯度更新即可实现有效的自适应，表现出优越的性能。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、智能制造等需要实时决策和规划的场景。通过提高模型在动态环境中的适应能力，AdaJEPA能够显著提升系统的自主性和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Latent world models enable planning from high-dimensional observations by predicting future states in a compact latent space. However, these models are typically kept frozen at test time: when their predictions become inaccurate, planning can fail, especially under test-time distribution shift. To address this, we propose AdaJEPA, an adaptive latent world model that performs test-time adaptation within the closed loop of model predictive control (MPC). After training, AdaJEPA plans and executes the first action chunk, uses the observed next-state transition as a self-supervised adaptation signal, and replans with the updated model. This closed-loop update continuously recalibrates the world model without additional expert demonstrations. Across a range of goal-reaching tasks, AdaJEPA substantially improves planning success with as few as one gradient step per MPC replanning step.