Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning

📄 arXiv: 2404.00781v2 📥 PDF

作者: Mohamed Elsayed, A. Rupam Mahmood

分类: cs.LG, cs.AI

发布日期: 2024-03-31 (更新: 2024-04-30)

备注: Published in the Proceedings of the 12th International Conference on Learning Representations (ICLR 2024). Code is available at https://github.com/mohmdelsayed/upgd

💡 一句话要点

提出基于效用的扰动梯度下降以解决持续学习中的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 灾难性遗忘 可塑性 深度学习 强化学习 梯度下降 模型适应性

📋 核心要点

  1. 现有的持续学习方法往往面临灾难性遗忘和可塑性丧失的问题，难以同时解决这两者。
  2. 本文提出的UPGD方法通过对有用单元进行小幅修改和对不太有用单元进行大幅修改，来同时应对遗忘和可塑性问题。
  3. 实验结果表明，UPGD在多种任务中持续提升性能，超越了所有对比方法，尤其在强化学习中表现出色。

📝 摘要（中文）

深度表示学习方法在持续学习中面临着灾难性遗忘和可塑性丧失的问题，现有方法通常分别处理这两个问题。本文提出了一种新颖的效用基础扰动梯度下降（UPGD）方法，结合了梯度更新与扰动，针对有用单元进行小幅修改以保护其不被遗忘，同时对不太有用的单元进行大幅修改以恢复其可塑性。在具有数百个非平稳性和未知任务边界的挑战性流学习设置中，UPGD在所有问题上均表现出色，超越或与现有方法竞争。最后，在扩展的强化学习实验中，UPGD避免了性能下降，展示了其在持续学习中的优势。

🔬 方法详解

问题定义：本文旨在解决深度学习在持续学习中面临的灾难性遗忘和可塑性丧失问题。现有方法通常无法同时有效应对这两个挑战，导致模型在新任务上表现不佳。

核心思路：UPGD方法的核心思想是结合梯度更新与扰动，通过对有用单元施加小幅修改来保护其信息，同时对不太有用的单元施加大幅修改以恢复其可塑性。这种设计旨在提高模型在面对新任务时的适应能力。

技术框架：UPGD的整体架构包括两个主要模块：一是对有用单元进行小幅度的梯度更新，二是对不太有用单元进行较大幅度的扰动。通过这种方式，模型能够在不断变化的任务中保持性能。

关键创新：UPGD的主要创新在于同时处理遗忘和可塑性问题，区别于现有方法仅关注其中之一。这种双重策略使得模型在多任务学习中表现更为稳定和高效。

关键设计：在UPGD中，参数设置和损失函数的设计至关重要。具体而言，模型需要根据单元的效用评估其重要性，从而决定施加的修改幅度。此外，网络结构需支持动态调整，以适应不同任务的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UPGD在所有测试任务中均表现优异，持续提升性能，超越了所有对比方法。在强化学习实验中，UPGD成功避免了Adam优化器在初始学习后的性能下降，展示了其在持续学习中的优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、在线学习系统和自适应人工智能等。通过有效解决持续学习中的遗忘问题，UPGD可以提升模型在动态环境中的学习能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Deep representation learning methods struggle with continual learning, suffering from both catastrophic forgetting of useful units and loss of plasticity, often due to rigid and unuseful units. While many methods address these two issues separately, only a few currently deal with both simultaneously. In this paper, we introduce Utility-based Perturbed Gradient Descent (UPGD) as a novel approach for the continual learning of representations. UPGD combines gradient updates with perturbations, where it applies smaller modifications to more useful units, protecting them from forgetting, and larger modifications to less useful units, rejuvenating their plasticity. We use a challenging streaming learning setup where continual learning problems have hundreds of non-stationarities and unknown task boundaries. We show that many existing methods suffer from at least one of the issues, predominantly manifested by their decreasing accuracy over tasks. On the other hand, UPGD continues to improve performance and surpasses or is competitive with all methods in all problems. Finally, in extended reinforcement learning experiments with PPO, we show that while Adam exhibits a performance drop after initial learning, UPGD avoids it by addressing both continual learning issues.