BRICKS-WM: Building Reusability via Interface Composition Kinetics for Structured World Models

📄 arXiv: 2606.16489v1 📥 PDF

作者: Shaowei Zhang, Jiahan Cao, Xunlan Zhou, Shenghua Wan, De-Chuan Zhan

分类: cs.LG

发布日期: 2026-06-15

💡 一句话要点

提出BRICKS-WM以解决模型重用性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型重用 强化学习 动态模块 潜在接口 机器人控制 智能制造 自动驾驶

📋 核心要点

  1. 现有的模型基于强化学习方法通常依赖于单一的潜在动态模型，导致模型重用性差，修改代理时需重新训练整个模型。
  2. BRICKS-WM框架通过模块化的方式，将世界模型分解为独立的动态模块，利用潜在接口连接不同模块，以实现动态的重用。
  3. 实验结果显示，BRICKS-WM在控制性能上与强大的单一基线相当，并且能够有效重用背景动态，提高了训练效率。

📝 摘要（中文）

基于模型的强化学习（MBRL）在连续控制中取得了显著成功，然而现有方法通常依赖于单一的潜在动态模型，这种耦合限制了模型的重用性。为了解决这一问题，本文提出了BRICKS-WM框架，通过将世界模型模块化组装，利用独立实体的物理世界特性，将全局动态视为不同动态模块的组合。BRICKS-WM通过学习的潜在接口连接了一个驱动的代理模块和一个外部背景模块，确保背景动态对代理动态保持无关。实验结果表明，BRICKS-WM在从零开始训练时，其控制性能与强大的单一基线相当，并且能够在不同代理之间重用冻结的背景动态。

🔬 方法详解

问题定义：现有的基于模型的强化学习方法通常依赖于单一的潜在动态模型，这种耦合使得模型的重用性受到限制，修改代理时需要重新训练整个模型，导致效率低下。

核心思路：本文提出BRICKS-WM框架，通过将世界模型模块化，利用独立的动态模块和潜在接口的组合，来实现动态的重用和更高的训练效率。

技术框架：BRICKS-WM的整体架构包括两个主要模块：驱动的代理模块和外部背景模块，二者通过学习的潜在接口进行连接。这样的设计使得背景动态与代理动态相互独立，确保了动态的可重用性。

关键创新：BRICKS-WM的核心创新在于其模块化的动态建模方法，与现有的对象中心方法不同，BRICKS-WM强调功能上的分离，确保背景动态不受代理动态的影响。

关键设计：在关键设计方面，BRICKS-WM采用了特定的损失函数来优化潜在接口的学习，同时在网络结构上实现了代理模块与背景模块的有效分离，确保了动态的独立性和重用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BRICKS-WM在从零开始训练时，其控制性能与强大的单一基线相当，且能够在不同代理之间重用冻结的背景动态，提升了训练效率和模型的适应性。

🎯 应用场景

BRICKS-WM框架具有广泛的应用潜力，特别是在机器人控制、自动驾驶和智能制造等领域。通过提高模型的重用性，该方法可以显著降低训练成本和时间，促进智能系统的快速迭代和部署，具有重要的实际价值和未来影响。

📄 摘要（原文）

Model-based Reinforcement Learning (MBRL) has achieved remarkable success in continuous control by leveraging latent world models. However, prevailing approaches typically rely on monolithic latent dynamics, entangling environment dynamics into a coupled process. This coupling severely limits reusability: altering the agent necessitates retraining the entire world from scratch, even if the environment remains constant. To address this, we introduce BRICKS-WM (Building Reusability via Interface Composition Kinetics for Structured World Models), a framework for the modular assembly of structured world models. Driven by the insight that the physical world is composed of independent entities, we posit that global dynamics can be modeled as a composition of distinct dynamical modules interacting via latent interfaces. As a minimal instantiation, we factorize the latent state space into an actuated Agent module and an external Background module, bridged by a learned latent interface. Unlike prior object-centric methods that prioritize visual segmentation, BRICKS-WM enforces a functional separation in transition dynamics, ensuring that background dynamics remains agnostic to the agent's dynamics. Empirically, BRICKS-WM achieves control performance comparable to strong monolithic baselines when trained from scratch, and enables the reuse of frozen background dynamics across agents.