Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks

📄 arXiv: 2511.08086v2 📥 PDF

作者: Muthukumar Pandaram, Jakob Hollenstein, David Drexel, Samuele Tosatto, Antonio Rodríguez-Sánchez, Justus Piater

分类: cs.LG, cs.AI, cs.RO

发布日期: 2025-11-11 (更新: 2025-11-14)

💡 一句话要点

揭示机器人强化学习环境动态稀疏性的挑战与特性，为世界模型学习提供新视角

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 动态稀疏性 机器人强化学习 MuJoCo 归纳偏置

📋 核心要点

  1. 现有世界模型学习方法常依赖于动态系统的稀疏性假设，但缺乏对真实机器人环境动态特性的深入分析。
  2. 本研究通过分析 MuJoCo Playground 环境，揭示了动态稀疏性并非全局性质，而是局部且状态相关的。
  3. 研究结果表明，应设计更符合真实环境动态特性的归纳偏置，以提升世界模型学习的性能。

📝 摘要（中文）

本研究 критически 评估了机器人强化学习中世界模型学习的常见稀疏性假设。通过分析 MuJoCo Playground 基准测试套件中真实环境的动态特性，探究了环境动态的因果图是否稀疏、这种稀疏性是否依赖于状态，以及局部系统动态是否稀疏变化。结果表明，全局稀疏性很少见，任务表现出局部、状态相关的稀疏性，并且这种稀疏性呈现出独特的结构，例如在接触事件期间以时间局部化的簇形式出现，并影响状态维度的特定子集。这些发现挑战了动态学习中常见的稀疏性先验假设，强调需要反映真实世界动态的状态相关稀疏性结构的归纳偏置。

🔬 方法详解

问题定义：现有世界模型学习方法通常假设环境动态具有全局稀疏性或时间稀疏性，即未来的状态变量仅依赖于当前状态变量的一个小子集，或者局部动态变化稀疏且突然。然而，这些假设是否适用于真实的机器人强化学习环境尚不明确。现有方法可能因为使用了不合适的稀疏性先验而限制了模型的学习能力。

核心思路：本研究的核心思路是通过分析真实机器人强化学习环境的动态特性，验证现有稀疏性假设的有效性，并揭示真实环境动态的稀疏性结构。通过对 MuJoCo Playground 环境的 ground-truth 动态进行分析，探究环境动态的因果图是否稀疏，这种稀疏性是否依赖于状态，以及局部系统动态是否稀疏变化。

技术框架：本研究的技术框架主要包括以下几个步骤：1) 选择 MuJoCo Playground 基准测试套件中的多个机器人强化学习环境；2) 获取每个环境的 ground-truth 动态数据；3) 分析环境动态的因果图，评估其稀疏性；4) 分析稀疏性与状态的依赖关系；5) 分析局部系统动态的变化情况，评估其时间稀疏性。研究使用了现有的图分析和时间序列分析方法来完成上述步骤。

关键创新：本研究的关键创新在于对机器人强化学习环境中动态稀疏性的深入分析。研究发现，全局稀疏性很少见，任务表现出局部、状态相关的稀疏性，并且这种稀疏性呈现出独特的结构。这一发现挑战了动态学习中常见的稀疏性先验假设，为设计更符合真实环境动态特性的归纳偏置提供了新的思路。

关键设计：本研究的关键设计在于选择 MuJoCo Playground 作为分析对象，因为它提供了 ground-truth 的动态信息，避免了从数据中学习动态模型带来的误差。此外，研究还使用了多种分析方法来评估稀疏性，包括图分析、状态依赖性分析和时间序列分析。具体参数设置和网络结构取决于所使用的分析方法，论文中未详细描述。

📊 实验亮点

研究结果表明，全局稀疏性在 MuJoCo Playground 环境中很少见，取而代之的是局部、状态相关的稀疏性。这种稀疏性呈现出独特的结构，例如在接触事件期间以时间局部化的簇形式出现，并影响状态维度的特定子集。这些发现挑战了现有方法中常用的全局稀疏性假设。

🎯 应用场景

该研究成果可应用于机器人强化学习领域，通过设计更符合真实环境动态特性的归纳偏置，提升世界模型的学习效率和泛化能力。例如，可以设计状态相关的稀疏连接网络，或者使用注意力机制来动态地选择重要的状态变量。这有助于机器人更好地理解和预测环境动态，从而实现更高效的控制和决策。

📄 摘要（原文）

The use of learned dynamics models, also known as world models, can improve the sample efficiency of reinforcement learning. Recent work suggests that the underlying causal graphs of such dynamics models are sparsely connected, with each of the future state variables depending only on a small subset of the current state variables, and that learning may therefore benefit from sparsity priors. Similarly, temporal sparsity, i.e. sparsely and abruptly changing local dynamics, has also been proposed as a useful inductive bias. In this work, we critically examine these assumptions by analyzing ground-truth dynamics from a set of robotic reinforcement learning environments in the MuJoCo Playground benchmark suite, aiming to determine whether the proposed notions of state and temporal sparsity actually tend to hold in typical reinforcement learning tasks. We study (i) whether the causal graphs of environment dynamics are sparse, (ii) whether such sparsity is state-dependent, and (iii) whether local system dynamics change sparsely. Our results indicate that global sparsity is rare, but instead the tasks show local, state-dependent sparsity in their dynamics and this sparsity exhibits distinct structures, appearing in temporally localized clusters (e.g., during contact events) and affecting specific subsets of state dimensions. These findings challenge common sparsity prior assumptions in dynamics learning, emphasizing the need for grounded inductive biases that reflect the state-dependent sparsity structure of real-world dynamics.