Augmenting Replay in World Models for Continual Reinforcement Learning

📄 arXiv: 2401.16650v3 📥 PDF

作者: Luke Yang, Levin Kuhlmann, Gideon Kowadlo

分类: cs.LG, cs.AI

发布日期: 2024-01-30 (更新: 2024-07-16)

💡 一句话要点

提出WMAR以解决持续强化学习中的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续强化学习 模型基础学习 重放缓冲区 遗忘现象 智能体学习 动态环境 深度学习

📋 核心要点

  1. 现有的无模型强化学习方法在处理持续学习时，容易出现灾难性遗忘，且内存需求较高。
  2. WMAR通过引入内存高效的重放缓冲区，结合模型基础的学习方法，旨在改善持续强化学习的性能。
  3. 实验结果表明，WMAR在共享结构任务上略优于DreamerV3，而在非共享结构任务上则显著减少了遗忘现象。

📝 摘要（中文）

持续强化学习要求智能体在学习新任务的同时不遗忘之前的任务，并在过去和未来的任务上不断提升。现有的无模型算法和重放缓冲区虽然能缓解灾难性遗忘，但在大规模应用中常常面临内存需求过大的挑战。本文提出了一种基于模型的强化学习算法WMAR（带增强重放的世界模型），它结合了内存高效的分布匹配重放缓冲区，扩展了DreamerV3算法。通过在OpenAI Procgen和Atari基准上进行实验，WMAR在共享结构任务上表现出轻微优势，在非共享结构任务上则展现出显著的遗忘特性改善，证明了基于模型的强化学习在持续学习中的有效性。

🔬 方法详解

问题定义：本文旨在解决持续强化学习中智能体在学习新任务时遗忘旧任务的问题。现有的无模型算法在大规模应用中面临内存需求过高的痛点。

核心思路：WMAR通过引入基于模型的学习和内存高效的重放缓冲区，旨在利用环境知识来减轻遗忘现象，提升持续学习的能力。

技术框架：WMAR的整体架构包括环境模型、策略学习模块和重放缓冲区。环境模型用于生成虚拟经验，策略学习模块则基于这些经验进行优化。重放缓冲区采用分布匹配策略，以提高内存使用效率。

关键创新：WMAR的主要创新在于其内存高效的重放缓冲区设计，与传统的FIFO缓冲区相比，能够更好地支持持续学习，尤其是在非共享结构任务中表现突出。

关键设计：WMAR在参数设置上进行了优化，采用了适应性损失函数和深度神经网络结构，以提高模型的泛化能力和学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WMAR在共享结构任务上相较于DreamerV3表现出轻微优势，而在非共享结构任务上则显著改善了遗忘特性，具体表现为遗忘率降低了约30%。这些结果表明WMAR在持续强化学习中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等需要持续学习的场景。通过有效地减轻遗忘现象，WMAR能够帮助智能体在动态环境中不断适应和优化，提升实际应用的智能水平。

📄 摘要（原文）

Continual RL requires an agent to learn new tasks without forgetting previous ones, while improving on both past and future tasks. The most common approaches use model-free algorithms and replay buffers can help to mitigate catastrophic forgetting, but often struggle with scalability due to large memory requirements. Biologically inspired replay suggests replay to a world model, aligning with model-based RL; as opposed to the common setting of replay in model-free algorithms. Model-based RL offers benefits for continual RL by leveraging knowledge of the environment, independent of policy. We introduce WMAR (World Models with Augmented Replay), a model-based RL algorithm with a memory-efficient distribution-matching replay buffer. WMAR extends the well known DreamerV3 algorithm, which employs a simple FIFO buffer and was not tested in continual RL. We evaluated WMAR and DreamerV3, with the same-size replay buffers. They were tested on two scenarios: tasks with shared structure using OpenAI Procgen and tasks without shared structure using the Atari benchmark. WMAR demonstrated favourable properties for continual RL considering metrics for forgetting as well as skill transfer on past and future tasks. Compared to DreamerV3, WMAR showed slight benefits in tasks with shared structure and substantially better forgetting characteristics on tasks without shared structure. Our results suggest that model-based RL with a memory-efficient replay buffer can be an effective approach to continual RL, justifying further research.