ARROW: Augmented Replay for RObust World models

📄 arXiv: 2603.11395 📥 PDF

作者: Abdulaziz Alyahya, Abdallah Al Siyabi, Markus R. Ernst, Luke Yang, Levin Kuhlmann, Gideon Kowadlo

分类: cs.LG, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出ARROW以解决持续强化学习中的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续强化学习 模型基方法 重放缓冲区 任务多样性 知识迁移

📋 核心要点

  1. 现有的持续强化学习方法在应对灾难性遗忘时，通常依赖于无模型方法和重放缓冲区，面临内存需求大的可扩展性挑战。
  2. ARROW通过引入基于模型的框架，采用短期和长期两个互补的重放缓冲区，旨在提高学习效率并减少遗忘。
  3. 在Atari和Procgen CoinRun变体等挑战性任务上，ARROW相比于同样大小的基线重放缓冲区，展示了显著减少遗忘的能力。

📝 摘要（中文）

持续强化学习挑战代理在学习新技能的同时保留之前学到的技能，以提高过去和未来任务的表现。现有方法多依赖于无模型方法和重放缓冲区来减轻灾难性遗忘，但这些解决方案通常面临显著的可扩展性挑战。ARROW（增强重放以增强世界模型）是一种基于模型的持续强化学习算法，扩展了DreamerV3，采用了内存高效的分布匹配重放缓冲区。ARROW维护两个互补的缓冲区：一个用于近期经验的短期缓冲区和一个通过智能采样保持任务多样性的长期缓冲区。实验结果表明，ARROW在没有共享结构的任务中表现出显著较少的遗忘，同时保持了可比的前向迁移。

🔬 方法详解

问题定义：论文要解决的问题是持续强化学习中的灾难性遗忘现象，现有方法在处理大规模任务时面临内存需求高和可扩展性差的痛点。

核心思路：ARROW的核心思路是借鉴神经科学中的经验重放机制，采用基于模型的方法，通过维护短期和长期两个重放缓冲区来提高学习的效率和效果。

技术框架：ARROW的整体架构包括两个主要模块：短期缓冲区用于存储近期经验，长期缓冲区则通过智能采样保持任务多样性，确保代理能够在不同任务间有效迁移知识。

关键创新：ARROW的关键创新在于其双缓冲区设计，区别于传统的固定大小FIFO缓冲区，这种设计能够更好地适应不同任务的需求，减少遗忘并提高学习效率。

关键设计：在技术细节上，ARROW采用了分布匹配的重放策略，确保短期和长期缓冲区的样本能够有效代表任务的多样性，同时在损失函数的设计上也进行了优化，以提升模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ARROW在没有共享结构的任务上表现出显著减少遗忘的能力，相比于同样大小的模型无论是基于模型还是无模型的基线，ARROW在任务表现上均保持了可比的前向迁移，展示了其在持续强化学习中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体和自动驾驶等需要持续学习和适应新环境的场景。ARROW的设计理念可以为这些领域提供更高效的学习策略，减少遗忘，提高智能体的长期表现。未来，随着算法的进一步优化，ARROW可能在更复杂的任务中展现出更大的应用价值。

📄 摘要（原文）

Continual reinforcement learning challenges agents to acquire new skills while retaining previously learned ones with the goal of improving performance in both past and future tasks. Most existing approaches rely on model-free methods with replay buffers to mitigate catastrophic forgetting; however, these solutions often face significant scalability challenges due to large memory demands. Drawing inspiration from neuroscience, where the brain replays experiences to a predictive World Model rather than directly to the policy, we present ARROW (Augmented Replay for RObust World models), a model-based continual RL algorithm that extends DreamerV3 with a memory-efficient, distribution-matching replay buffer. Unlike standard fixed-size FIFO buffers, ARROW maintains two complementary buffers: a short-term buffer for recent experiences and a long-term buffer that preserves task diversity through intelligent sampling. We evaluate ARROW on two challenging continual RL settings: Tasks without shared structure (Atari), and tasks with shared structure, where knowledge transfer is possible (Procgen CoinRun variants). Compared to model-free and model-based baselines with replay buffers of the same-size, ARROW demonstrates substantially less forgetting on tasks without shared structure, while maintaining comparable forward transfer. Our findings highlight the potential of model-based RL and bio-inspired approaches for continual reinforcement learning, warranting further research.