Sensorimotor World Models: Perception for Action via Inverse Dynamics

📄 arXiv: 2606.20104v1 📥 PDF

作者: Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

分类: cs.LG, cs.AI

发布日期: 2026-06-18

💡 一句话要点

提出传感运动世界模型以解决表示崩溃和动作对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 传感运动模型 逆动力学 潜在状态学习 动作对齐 控制任务

📋 核心要点

  1. 现有的潜在世界模型在训练过程中可能导致表示崩溃，难以有效预测未来状态。
  2. 本文提出的SMWM通过逆动力学正则化，强制潜在状态保留与动作相关的信息，从而避免表示崩溃。
  3. 实验结果显示，SMWM在2D和3D控制任务中表现出色，学习到的潜在空间紧凑且可解释，规划性能具有竞争力。

📝 摘要（中文）

感知与行动的关系表明，世界的表示不仅应基于视觉的真实度，还应考虑其对行动的相关性。现有的JEPA风格潜在世界模型在高维观测中学习紧凑的预测状态，但其端到端训练面临挑战，可能导致表示崩溃。本文提出了一种传感运动世界模型（SMWM），通过逆动力学正则化进行端到端训练，解决了表示崩溃和动作对齐的问题。该模型通过保留转变背后的动作信息，偏向于环境的可控自由度，舍弃不可控的干扰因素。实验表明，SMWM能够从离线、无奖励的轨迹中学习紧凑且可解释的潜在空间，并在简单的2D和3D控制任务中实现竞争性的规划性能。

🔬 方法详解

问题定义：本文旨在解决现有潜在世界模型在训练过程中可能导致的表示崩溃问题，同时确保模型的表示与动作相关。现有方法在仅追求预测准确性时，往往忽视了动作的影响。

核心思路：SMWM通过引入逆动力学正则化，确保潜在状态能够保留与动作相关的信息。这种设计使得模型在学习过程中能够聚焦于可控的环境自由度，避免了不必要的干扰。

技术框架：SMWM的整体架构包括输入高维观测、通过逆动力学正则化训练潜在状态，以及基于这些潜在状态进行未来状态的预测。主要模块包括观测编码器、潜在状态生成器和动作预测模块。

关键创新：SMWM的核心创新在于使用逆动力学正则化来同时解决表示崩溃和动作对齐的问题。这一方法与传统的潜在世界模型相比，显著提高了模型的稳定性和可解释性。

关键设计：在模型设计中，采用了特定的损失函数来平衡预测准确性与动作信息的保留。此外，网络结构经过优化，以确保在训练过程中能够有效处理高维输入数据。具体参数设置和超参数调优也经过细致考量，以实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMWM在多个简单的2D和3D控制任务中表现优异，学习到的潜在空间不仅紧凑且可解释，规划性能在基线对比中显示出显著提升，具体性能数据未详述。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等。通过提高模型对环境的理解和预测能力，SMWM能够在复杂任务中实现更高效的决策和规划，具有重要的实际价值和未来影响。

📄 摘要（原文）

Perception for action suggests that representations of the world should be shaped not by visual fidelity alone, but by their relevance for actions. At the same time, latent JEPA-style world models advocate learning compact predictive states from high-dimensional observations to facilitate the prediction of future states, but end-to-end training of these models is nontrivial because representations may collapse if our only goal is to construct a latent state that is easy to predict. We introduce a sensorimotor world model (SMWM): a latent world model trained end-to-end with inverse dynamics regularization. This single regularizer addresses both issues: it prevents representation collapse and induces action-aligned representations. By forcing latent states to preserve information about the action underlying a transition, it biases the model toward the controllable degrees of freedom of the environment while discarding uncontrollable distractors. This yields stable latent world models trained from offline, reward-free trajectories, without frozen encoders, exponential moving averages, or complex latent regularizers. Empirically, SMWM learns compact, interpretable latent spaces and enables competitive planning performance across simple 2D and 3D control tasks.