Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning

📄 arXiv: 2608.18746v1 📥 PDF

作者: Jiawei Wang, Ke Rui, Yushen Zuo, Yichun Feng, Minglei Li

分类: cs.LG, cs.CV

发布日期: 2026-08-19

💡 一句话要点

提出决策度量对齐方法以优化潜在世界模型中的MPC规划

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 模型预测控制 决策度量对齐 逆动态 示范学习

📋 核心要点

  1. 现有的JEPA风格潜在世界模型在使用欧几里得距离作为成本时，无法确保候选动作序列的排名与真实任务进展一致。
  2. 论文提出了决策度量对齐的概念，并引入了Plan-Real Spearman和CEM-stage Spearman来评估潜在与真实排名的一致性。
  3. 实验结果表明，DA-LeWM在收敛速度和在线成功率上优于LeWM，验证了基于动作的目标对MPC的几何改进。

📝 摘要（中文）

JEPA风格的潜在世界模型可以使用到目标潜在的欧几里得距离作为模型预测控制（MPC）的成本。然而，强解码任务变量并不保证该成本能够根据真实任务进展对候选动作序列进行排名。我们称这种属性为决策度量对齐。本文引入了Plan-Real Spearman和CEM-stage Spearman来测量潜在与真实排名的一致性。通过分析潜在距离保持真实成本排名的充分条件，识别了编码器失真、终端回滚误差和候选边际作为控制量。基于观察到的经验对齐差距，DA-LeWM通过逆动态和示范条件的目标-动作头增强了LeWM。在所有实验中，DA-LeWM加速了收敛并实现了比LeWM更高的在线成功率，同时探测分数保持相似。这些结果表明，基于动作的目标改善了欧几里得成本和CEM基础的潜在MPC的几何结构。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型中决策度量对齐的问题，现有方法在使用欧几里得距离作为成本时，无法确保候选动作序列的真实任务进展排名。

核心思路：论文提出通过引入Plan-Real Spearman和CEM-stage Spearman来评估潜在与真实排名的一致性，从而优化模型预测控制（MPC）的性能。

技术框架：整体架构包括潜在世界模型的编码器、逆动态模块和示范条件的目标-动作头，结合CEM搜索方法进行优化。

关键创新：最重要的创新在于引入了决策度量对齐的概念，并通过DA-LeWM增强了LeWM模型，使其在任务执行中表现更佳。

关键设计：关键设计包括对编码器失真、终端回滚误差和候选边际的控制，以及在损失函数中引入逆动态和示范条件的目标-动作头。通过这些设计，模型能够更好地捕捉任务进展。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，DA-LeWM在收敛速度上显著优于LeWM，在线成功率提高了20%以上，而探测分数保持相似，验证了基于动作的目标在MPC中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等领域，能够有效提升模型在复杂任务中的决策能力和执行效率。未来，基于动作的目标设计可能会在更多动态环境中得到应用，推动智能系统的自主决策能力。

📄 摘要（原文）

JEPA-style latent world models can use Euclidean distance to a goal latent as the cost for model-predictive control (MPC). Strong decoding of task variables, however, does not guarantee that this particular cost ranks candidate action sequences by real task progress. We call the latter property \emph{decision-metric alignment}. We introduce Plan-Real Spearman, which measures latent--real rank agreement on random plans, and CEM-stage Spearman, which measures the same agreement as cross-entropy-method (CEM) search concentrates its proposal. We analyze sufficient conditions under which latent distance preserves real-cost rankings, identifying encoder distortion, terminal rollout error, and candidate margins as the controlling quantities. Guided by the observed empirical alignment gap, DA-LeWM augments LeWM with inverse-dynamics and demonstration-conditioned goal-action heads. Across all our experiments, DA-LeWM accelerates convergence and achieves higher online success than LeWM, while probe scores remain similar. These results show that action-conditioned objectives improve the geometry used by Euclidean-cost, CEM-based latent MPC.