LpWM: A Case for Sparse Representations in World Models

📄 arXiv: 2608.22764v1 📥 PDF

作者: Yilun Kuang, Yash Dagade, Quentin Le Lidec, Lucas Maes, Randall Balestriero, Yann LeCun

分类: cs.LG

发布日期: 2026-08-24

💡 一句话要点

提出LpWM以解决动态建模中的稠密表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 稀疏表示 动态建模 联合嵌入预测 机器人控制 智能决策

📋 核心要点

  1. 现有的联合嵌入预测架构（JEPA）依赖于稠密表示，可能导致动态建模的复杂性增加。
  2. 本研究提出LpWM模型，通过稀疏表示和修正分布匹配正则化来优化潜在动态建模。
  3. 实验结果显示，稀疏LpWM在中等预测器容量下的规划成功率比稠密LeWM高出57%。

📝 摘要（中文）

联合嵌入预测架构（JEPA）通过将特征匹配到最大熵分布（如各向同性高斯分布）来学习潜在动态，避免表示崩溃，从而生成稠密表示。然而，稠密表示是否是建模动态的最佳几何形状尚不明确。本研究探讨稀疏表示是否能更容易地建模基于动作的潜在动态，并研究这种表示所产生的动态结构。我们首先证明，在足够高维的独热编码潜在空间中，非线性Lipschitz动态可以通过基于动作的线性动态进行任意精确的近似。基于此，我们提出了LpWorldModel（LpWM），一种通过修正分布匹配正则化（RDMReg）来匹配编码器特征到修正广义高斯分布的JEPA模型，生成非负稀疏编码。实验证明，稀疏性降低了成功规划所需的预测器复杂度。

🔬 方法详解

问题定义：本研究旨在解决现有JEPA模型中稠密表示导致的动态建模复杂性问题。稠密表示可能不适合所有动态场景，尤其是在高维空间中。

核心思路：论文提出使用稀疏表示来简化基于动作的潜在动态建模，认为稀疏性能够降低预测器的复杂度并提高模型的可解释性。

技术框架：LpWM模型的整体架构包括编码器、解码器和正则化模块。编码器将输入特征映射到稀疏潜在空间，解码器则负责从潜在表示重构动态。正则化模块通过RDMReg确保编码特征符合修正广义高斯分布。

关键创新：LpWM的主要创新在于引入了稀疏表示和修正分布匹配正则化，显著降低了动态建模的复杂性，并提供了更好的可解释性，与传统的稠密表示方法形成鲜明对比。

关键设计：模型的关键设计包括使用非负稀疏编码，选择合适的损失函数以优化RDMReg，并在高维独热潜在空间中进行线性动态近似。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，稀疏LpWM在PushT任务中，在中等预测器容量下的规划成功率比稠密LeWM高出57%。此外，LpWM在多个预测器家族中均优于稠密VICReg表示，显示出其在不同场景下的广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能决策系统。通过优化动态建模，LpWM能够提高这些系统在复杂环境中的规划能力和适应性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Joint-embedding predictive architectures (JEPAs) learn latent dynamics for planning and avoid representation collapse by matching features to maximum-entropy distributions such as isotropic Gaussians, yielding dense representations. However, it is unclear whether dense representations are the most favorable geometry for modeling dynamics. In this work, we ask whether a different geometry, sparse representations, can make action-conditioned latent dynamics easier to model, and what dynamical structure emerges from such representations. We first show that nonlinear Lipschitz dynamics can be approximated arbitrarily well by action-conditioned linear dynamics in a sufficiently high-dimensional one-hot latent space, with rollout error vanishing as the dimension grows. This motivates distributed sparse representations as a practical relaxation of one-hot sparsity. We introduce LpWorldModel (LpWM), a JEPA model regularized with Rectified Distribution Matching Regularization (RDMReg) to match encoder features to a Rectified Generalized Gaussian distribution, yielding non-negative sparse codes. Empirically, sparsity lowers the predictor complexity required for successful planning: on PushT, sparse LpWM outperforms dense LeWM by up to 57% in planning success at intermediate predictor capacities. This advantage also extends beyond Gaussian distribution matching, with LpWM outperforming dense VICReg representations across multiple predictor families. We further find that the learned sparse representations are mode-factored, with support encoding discrete dynamical regimes and feature magnitudes capturing continuous within-regime state. Together, these results suggest that sparse representations can reduce the predictor complexity required for control while revealing interpretable structure.