Before We Adapt: The Zero-Shot Generalization Bottleneck in Continual World Models

📄 arXiv: 2610.41041v1 📥 PDF

作者: Amir Mesbah, Di Wu

分类: cs.LG

发布日期: 2026-10-29

备注: Accepted to Continual World Models workshop @ NeurIPS 2026

💡 一句话要点

提出基于上下文马尔可夫决策过程的零-shot泛化方法以解决持续世界模型中的瓶颈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续强化学习 世界模型 上下文马尔可夫决策过程 知识重用 适应能力 表示学习 零-shot学习

📋 核心要点

  1. 现有的持续强化学习方法在环境变化时难以有效重用知识，导致智能体适应能力不足。
  2. 本文提出通过上下文马尔可夫决策过程来组织持续世界模型学习，强调重用、适应和新知识获取的关系。
  3. 实验结果显示，零-shot重用在物理上下文变化时性能显著下降，且与观察表示的选择密切相关。

📝 摘要（中文）

持续强化学习（CRL）要求智能体在环境变化中操作，同时尽可能重用先前知识。本文提出了一种基于上下文马尔可夫决策过程的框架，将上下文分解为行为和物理组件，从而组织持续世界模型学习为重用、适应和新知识获取。研究发现，在物理上下文变化下，零-shot重用的性能显著下降，并且这种行为与世界模型使用的观察表示密切相关。这些结果表明，表示泛化是CRL中可靠世界模型重用的重要瓶颈。

🔬 方法详解

问题定义：本文旨在解决持续强化学习中，智能体在环境变化时如何有效重用知识的问题。现有方法在物理上下文变化时表现不佳，导致知识重用的可靠性降低。

核心思路：提出将问题建模为上下文马尔可夫决策过程，通过将上下文分解为行为和物理组件，来更好地组织知识的重用与适应。这样的设计有助于明确不同上下文对智能体决策的影响。

技术框架：整体架构包括三个主要模块：知识重用、适应和新知识获取。首先，智能体在行为规则不变的情况下进行直接重用；其次，适应模块处理物理上下文变化；最后，新知识获取模块用于学习新的环境信息。

关键创新：最重要的技术创新在于将上下文分解为行为和物理组件，从而明确了知识重用的限制因素，尤其是表示泛化问题。这与现有方法的主要区别在于提供了更细致的上下文理解。

关键设计：在实验中，使用了Dyna-Q和TD-MPC算法，重点关注观察表示的选择对重用性能的影响。通过消融研究和潜在空间诊断，发现学习到的表示并不自动提供重用所需的变换不变性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在FourRooms任务中，零-shot重用在物理上下文变化时性能下降显著，尤其是在使用不当的观察表示时。相比基线方法，本文提出的框架在知识重用的可靠性上提供了新的视角，强调了表示泛化的重要性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能交通系统和自适应游戏AI等。通过提高智能体在动态环境中的适应能力，能够显著提升其在实际应用中的表现和效率。未来，该方法可能推动更智能的自主系统的发展，能够在复杂环境中更好地进行决策和学习。

📄 摘要（原文）

Continual reinforcement learning (CRL) requires agents to operate under environmental changes while reusing prior knowledge whenever possible. We argue that model-based reinforcement learning provides a promising framework for this setting because learned world models (WMs) can, in principle, support change detection, knowledge reuse, adaptation, and acquisition of new knowledge. However, such benefits depend heavily on whether the learned model can generalize beyond the contexts in which it was trained. In this work, we propose to formulate this problem with a contextual Markov decision process in which context is decomposed into behavioral and physical components. This view organizes continual WM learning into reuse, adaptation, and acquisition of new knowledge. As a first step, we study direct reuse when behavioral rules remain unchanged. Using Dyna-Q and TD-MPC in controlled FourRooms tasks, we find that zero-shot reuse can degrade substantially under physical-context changes and that this behavior depends strongly on the observation representation used by the WM. Additional ablation studies and latent-space diagnostics suggest that learned representations do not automatically provide the invariances needed for reuse. These results identify representation generalization as an important bottleneck for reliable world-model reuse in CRL.