Analyzing and Reducing Catastrophic Forgetting in Parameter Efficient Tuning

📄 arXiv: 2402.18865v1 📥 PDF

作者: Weijieying Ren, Xinlong Li, Lei Wang, Tianxiang Zhao, Wei Qin

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出I-LoRA以解决大语言模型的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 灾难性遗忘 持续学习 LoRA 模式连接 经验重放 参数插值

📋 核心要点

  1. 核心问题：现有方法在持续微调大语言模型时，容易导致灾难性遗忘，影响历史任务的性能。
  2. 方法要点：提出插值基础的LoRA（I-LoRA），通过几何连接不同最小值，平衡学习的可塑性与记忆的稳定性。
  3. 实验或效果：在八个领域特定的持续学习基准上，I-LoRA相较于现有最先进的方法提升了最高达11%的性能。

📝 摘要（中文）

现有研究表明，大型语言模型（LLMs）在语言理解和生成方面表现出色。然而，当这些模型在复杂多样的领域特定下游任务上进行持续微调时，历史任务的推理性能会显著下降，这被称为灾难性遗忘问题。本文探讨了不同最小值之间的几何连接，提出了一种名为插值基础的LoRA（I-LoRA）的方法，通过构建基于LoRA参数插值的双重记忆经验重放框架，显著提高了模型在领域特定基准上的表现，提供了未来研究的重要基线和见解。

🔬 方法详解

问题定义：本文旨在解决大语言模型在持续微调过程中出现的灾难性遗忘问题。现有方法如记忆重放、正则化和参数隔离等，虽然有所探索，但对不同最小值之间几何连接的理解仍然不足。

核心思路：论文通过模式连接的视角，研究不同最小值之间的几何联系，发现这些最小值可以通过低损失的谷底相连，从而在可塑性与稳定性之间取得平衡。

技术框架：I-LoRA方法构建了一个双重记忆经验重放框架，利用LoRA参数插值来实现。整体流程包括对历史任务的记忆重放和新任务的学习，确保模型在新旧任务间的平衡。

关键创新：最重要的创新点在于通过模式连接现象揭示了不同最小值之间的几何关系，提出的I-LoRA方法在此基础上有效提升了模型的持续学习能力。

关键设计：在I-LoRA中，设计了基于LoRA参数的插值机制，确保了模型在更新时能够保持对历史任务的记忆，同时引入了适当的损失函数以优化模型性能。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个领域特定的持续学习基准上，I-LoRA方法相较于之前的最先进方法，表现出显著的性能提升，最高达11%。这些实验结果表明，I-LoRA在平衡可塑性与稳定性方面具有重要的实际价值。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够帮助这些系统在面对多样化任务时，保持对历史知识的有效记忆，提升用户体验。未来，该方法也可能为其他领域的持续学习问题提供新的思路和解决方案。

📄 摘要（原文）

Existing research has shown that large language models (LLMs) exhibit remarkable performance in language understanding and generation. However, when LLMs are continuously fine-tuned on complex and diverse domain-specific downstream tasks, the inference performance on historical tasks decreases dramatically, which is known as a catastrophic forgetting problem. A trade-off needs to be kept between learning plasticity and memory stability. Plenty of existing works have explored strategies like memory replay, regularization and parameter isolation, but little is known about the geometric connection of various adjacent minima in the continual LLMs fine-tuning scenarios. In this work, we investigate the geometric connections of different minima through the lens of mode connectivity, which means different minima can be connected by a low-loss valley. Through extensive experiments, we uncover the mode connectivity phenomenon in the LLMs continual learning scenario and find that it can strike a balance between plasticity and stability. Building upon these findings, we propose a simple yet effective method called Interpolation-based LoRA (I-LoRA), which constructs a dual-memory experience replay framework based on LoRA parameter interpolations. Extensive experiments and analysis on eight domain-specific CL benchmarks demonstrate that I-LoRA consistently show significant improvement over the previous state-of-the-art approaches with up to $11\%$ performance gains, providing a strong baseline and insights for future research on the large language model continual learning problem. Our code is available at \url{https://github.com/which47/LLMCL}.