Better Slots, Better Worlds: Representation Quality & Robustness in Object-Centric World Models

📄 arXiv: 2608.12078v1 📥 PDF

作者: Shukrullo Nazirjonov, Sai Prasanna, Anna Manasyan, Georg Martius

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-08-12

备注: Published at Model-Based RL in the Era of Generative World Models Workshop at RLC 2026

💡 一句话要点

提出改进的对象中心世界模型以提升规划能力与鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对象中心表示 世界模型 规划能力 鲁棒性 模型预测控制 无监督学习 分布转变

📋 核心要点

  1. 现有对象中心世界模型在槽编码器的选择上缺乏灵活性，未能充分评估对象中心偏置对规划的影响。
  2. 本文提出了一种新的对象中心世界模型，通过优化槽的质量和鲁棒性来提升规划能力，减少对辅助输入的依赖。
  3. 实验结果表明，优化后的模型在规划成功率和鲁棒性上均优于传统的场景中心模型，尤其在未见分布下表现突出。

📝 摘要（中文）

从离线轨迹中学习世界模型使得智能体能够通过规划完成不同任务。对象中心（OC）表示将场景分解为绑定到对象的一组槽，作为世界模型的归纳偏置，具有更高的样本效率和更好的泛化能力。然而，现有的对象中心世界模型（OCWMs）仅在给定的槽编码器上进行评估，未能探讨对象中心偏置在规划中的实际效果及其驱动因素。本文通过控制实验研究OCWMs在视觉模型预测控制中的表现，发现规划成功与无监督槽质量指标正相关，并且在未见分布转变下，具有良好绑定槽的OCWM表现出更强的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决现有对象中心世界模型在槽编码器选择上的局限性，评估对象中心偏置对规划能力的实际贡献。现有方法在分布转变时表现不佳，缺乏鲁棒性。

核心思路：通过对对象中心表示的质量进行优化，提出了一种新的对象中心世界模型，旨在提高规划的成功率和鲁棒性，同时减少对辅助输入的依赖。

技术框架：整体架构包括槽编码器、规划模块和评估模块。槽编码器负责将场景分解为对象槽，规划模块基于这些槽进行任务规划，评估模块则用于验证模型在不同分布下的表现。

关键创新：最重要的创新在于通过优化槽的绑定质量，显著提高了模型在未见分布下的鲁棒性，与传统的场景中心模型相比，表现出更强的适应能力。

关键设计：在模型设计中，采用了无监督槽质量指标（如FG-ARI和mBO）来评估槽的质量，并通过实验验证了高槽质量对规划成功率的正向影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，优化后的对象中心世界模型在规划成功率上与无监督槽质量指标呈正相关，且在未见分布转变下，表现出比传统场景中心模型更高的鲁棒性，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和智能制造等场景，能够为智能体提供更高效的规划能力和更强的环境适应性，未来可能推动更复杂任务的自动化解决方案。

📄 摘要（原文）

Learning world models from offline trajectories enables agents to accomplish different tasks through planning. Object-centric (OC) representations, which decompose a scene into a set of slots that bind to its objects, have been proposed as an inductive bias for world models that are more sample-efficient and generalize better. Yet prior object-centric world models (OCWMs) take the slot encoder as given and evaluate only in-distribution, leaving open whether the object-centric bias actually delivers for planning and what within the OCWM drives it. We conduct a controlled study of OCWMs for visual model-predictive control along two axes: object-centric representation quality and generalization under distribution shift relative to scene-centric models. We find that (i) planning success correlates positively with unsupervised slot-quality metrics (FG-ARI, mBO), though the gains saturate at high slot quality; (ii) with well-bound slots, the auxiliary proprioception inputs and masking inductive bias that prior methods relied on become unnecessary; and (iii) under unseen distribution shifts, the OCWM with well-bound slots is more robust overall than the end-to-end trained scene-centric LeWM, while DINO-WM, built on similar frozen pretrained features, remains competitive -- pointing to pretrained features as a key contributor to robustness.