Diagnosing JEPA World Models with Action-Conditioned Predictive Consistency

📄 arXiv: 2608.12939v1 📥 PDF

作者: Guo An, Zijing Wu, Honghua Dong, Yuhao Yan, Zixuan Gui, Haochong Chen, Shanzhao Ruan, Xiang Wang, Yurong Ling, Qi Tian

分类: cs.LG

发布日期: 2026-08-13

💡 一句话要点

提出动作条件预测一致性以诊断JEPA世界模型的视觉扰动问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉扰动 预测一致性 世界模型 机器人控制 多步预测 鲁棒性评估 动作条件

📋 核心要点

  1. 现有的JEPA方法在处理视觉扰动时缺乏鲁棒性，无法保证在扰动下的预测一致性。
  2. 本文提出了动作条件预测一致性（ACPC），通过测量干净与扰动视图的偏离程度来评估模型的鲁棒性。
  3. 实验结果表明，成对ACPC能够有效预测扰动引起的预测和成本变化，且在不同任务间具有良好的转移性。

📝 摘要（中文）

联合嵌入预测架构（JEPA）在紧凑的潜在空间中学习世界模型，能够减少对外观干扰的建模压力。然而，这并不能保证对视觉扰动的鲁棒性。为此，本文引入了动作条件预测一致性（ACPC），作为一种诊断工具，测量干净历史与视觉扰动视图在相同动作序列下的偏离程度。我们证明了这种偏离界定了多步预测误差和规划成本的扰动引起的变化。通过成对ACPC，我们定义了两个互补的度量：不变半径（IR）和分离率（SR），并在四个视觉控制任务上进行了实验，结果表明成对ACPC能够有效预测扰动引起的预测和成本变化。

🔬 方法详解

问题定义：本文旨在解决JEPA世界模型在视觉扰动下的预测一致性问题。现有方法未能有效应对视觉扰动对模型表示的影响，导致预测结果不稳定。

核心思路：论文提出动作条件预测一致性（ACPC）作为一种新的诊断工具，通过比较干净历史与扰动视图在相同动作序列下的表现，来量化模型的鲁棒性。

技术框架：整体架构包括两个主要模块：首先，使用ACPC测量干净与扰动视图的偏离；其次，基于偏离结果评估多步预测误差和规划成本。

关键创新：最重要的创新在于引入了不变半径（IR）和分离率（SR）两个度量，前者总结了干净与扰动回滚的分散程度，后者检查不同状态在回滚后是否仍可区分。

关键设计：在实验中，ACPC的计算依赖于特定的损失函数和网络结构设计，确保能够有效捕捉到扰动对预测结果的影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，成对ACPC能够有效预测扰动引起的预测和成本变化。在LeWM任务中，不变半径（IR）和分离率（SR）在不同任务间表现出良好的转移性，且联合诊断在模糊和缩放情况下仍保持有效。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能监控等场景，能够提高系统在复杂环境下的鲁棒性和可靠性。未来，ACPC方法可进一步推广到其他类型的预测模型中，以增强其对视觉扰动的适应能力。

📄 摘要（原文）

Joint-embedding predictive architectures (JEPAs) learn world models that predict in a compact latent space rather than in pixels, reducing the pressure to model nuisance appearance. Yet this provides no guarantee against visual perturbations: they can still alter the encoded representation and affect subsequent action-conditioned predictions. Bisimulation captures this requirement precisely: two observations should be treated as the same state only when their action-conditioned consequences agree. Guided by this criterion, we introduce Action-Conditioned Predictive Consistency (ACPC), a diagnostic that measures how far a clean history and a visually perturbed view of it diverge after being rolled forward under the same action sequence. We prove that this divergence bounds the perturbation-induced change in multi-step prediction error and planner cost. Building on pairwise ACPC, we define two complementary measures: the Invariance Radius (IR) summarizes clean-perturbed rollout spread, while the Separation Rate (SR) checks whether different states remain distinguishable after rollout. Experiments on four visual control tasks show that pairwise ACPC predicts perturbation-induced prediction and cost changes. On LeWM, the IR-SR screen transfers across tasks, and the joint diagnostic remains informative under blur and resize. PLDM exhibits similar diagnostic trends under a different architecture.