Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem

📄 arXiv: 2402.02868v3 📥 PDF

作者: Maciej Wołczyk, Bartłomiej Cupiał, Mateusz Ostaszewski, Michał Bortkiewicz, Michał Zając, Razvan Pascanu, Łukasz Kuciński, Piotr Miłoś

分类: cs.LG

发布日期: 2024-02-05 (更新: 2024-07-17)

备注: ICML 2024 Spotlight

💡 一句话要点

提出遗忘缓解方法以优化强化学习模型微调

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 微调 遗忘缓解 知识保留 模型优化 NetHack 性能提升

📋 核心要点

  1. 现有强化学习模型在微调过程中容易遗忘预训练能力，导致性能下降。
  2. 本文提出了一种新的视角，将微调视为遗忘缓解问题，并利用知识保留技术进行优化。
  3. 在NetHack环境中，实验结果显示模型性能显著提升，新的得分超过10000分，刷新了最先进记录。

📝 摘要（中文）

微调是一种广泛应用的技术，能够帮助从预训练模型中转移能力。然而，在强化学习（RL）模型的微调中，仍然面临诸多挑战。本文将微调过程中能力遗忘的现象进行了概念化，指出在下游任务的状态子空间中，模型可能会因未访问而退化，从而失去预期的转移收益。通过对NetHack和Montezuma's Revenge环境的详细实证分析，发现标准的知识保留技术能够缓解这一问题，充分利用预训练能力。在NetHack中，我们在Human Monk场景中实现了新的最先进成绩，从5000分提升至10000分以上。

🔬 方法详解

问题定义：本文旨在解决强化学习模型在微调过程中遗忘预训练能力的问题。现有方法在处理下游任务时，模型可能在未访问的状态子空间中表现不佳，导致性能下降。

核心思路：论文提出将微调视为遗忘缓解问题，强调在微调过程中保持预训练能力的重要性。通过引入标准的知识保留技术，帮助模型在新任务中保持对旧任务的记忆。

技术框架：整体架构包括预训练模型的微调阶段，知识保留模块，以及针对特定环境的适应性调整。首先进行预训练，然后在微调过程中应用知识保留技术，确保模型在新任务上表现良好。

关键创新：最重要的技术创新在于将微调过程中的遗忘问题明确化，并提出了有效的解决方案。这一视角与传统的微调方法有本质区别，强调了知识保留的重要性。

关键设计：在实验中，采用了特定的损失函数来平衡新旧任务的学习，设置了适当的超参数以优化知识保留效果，并设计了适应性网络结构以增强模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用知识保留技术后，模型在NetHack的Human Monk场景中得分从5000分提升至10000分以上，显著提高了模型性能，刷新了最先进的记录。这一提升证明了所提方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括游戏AI、机器人控制和其他需要强化学习的复杂系统。通过有效的微调和遗忘缓解，能够提升模型在新任务上的表现，具有重要的实际价值和广泛的应用前景。未来，相关技术可能会推动更高效的智能体训练和更复杂任务的解决方案。

📄 摘要（原文）

Fine-tuning is a widespread technique that allows practitioners to transfer pre-trained capabilities, as recently showcased by the successful applications of foundation models. However, fine-tuning reinforcement learning (RL) models remains a challenge. This work conceptualizes one specific cause of poor transfer, accentuated in the RL setting by the interplay between actions and observations: forgetting of pre-trained capabilities. Namely, a model deteriorates on the state subspace of the downstream task not visited in the initial phase of fine-tuning, on which the model behaved well due to pre-training. This way, we lose the anticipated transfer benefits. We identify conditions when this problem occurs, showing that it is common and, in many cases, catastrophic. Through a detailed empirical analysis of the challenging NetHack and Montezuma's Revenge environments, we show that standard knowledge retention techniques mitigate the problem and thus allow us to take full advantage of the pre-trained capabilities. In particular, in NetHack, we achieve a new state-of-the-art for neural models, improving the previous best score from $5$K to over $10$K points in the Human Monk scenario.