Continual Learning of Large Language Models: A Comprehensive Survey

📄 arXiv: 2404.16789v3 📥 PDF

作者: Haizhou Shi, Zihao Xu, Hengyi Wang, Weiyi Qin, Wenyuan Wang, Yibin Wang, Zifeng Wang, Sayna Ebrahimi, Hao Wang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-04-25 (更新: 2024-11-25)

备注: 44 pages, 2 figures, 4 tables; Work in progress

🔗 代码/项目: GITHUB

💡 一句话要点

综述大语言模型的持续学习以应对动态数据挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 持续学习 灾难性遗忘 领域自适应 自然语言处理 智能推荐 动态数据

📋 核心要点

  1. 核心问题：预训练的大语言模型在适应动态数据时，常出现灾难性遗忘，导致先前知识的显著性能下降。
  2. 方法要点：本文综述了LLMs在持续学习中的研究进展，提出了持续预训练、领域自适应预训练和持续微调等方法。
  3. 实验或效果：通过对现有文献的分析，本文揭示了LLMs在持续学习中的新挑战和解决方案，提供了评估协议和数据源。

📝 摘要（中文）

近年来，大语言模型（LLMs）在静态、预先收集的通用数据集上取得了显著成功，推动了多个研究方向和应用。其中一个重要方向是如何将预训练的LLMs整合到动态数据分布、任务结构和用户偏好中。预训练的LLMs在针对特定需求进行调整时，往往会在先前知识领域中出现显著的性能下降，这一现象被称为“灾难性遗忘”。尽管在持续学习（CL）领域得到了广泛研究，但在LLMs中呈现出新的表现形式。本文综述了LLMs在CL背景下的研究进展，结构分为四个主要部分：首先描述了LLMs的持续学习概述，包括垂直和水平的连续性；然后总结了现代CL背景下LLMs学习的三个阶段：持续预训练、领域自适应预训练和持续微调；接着提供了LLMs持续学习的评估协议和数据源概述；最后讨论了与LLMs持续学习相关的有趣问题。

🔬 方法详解

问题定义：本文旨在解决预训练的大语言模型在动态数据分布下的适应性问题，尤其是灾难性遗忘现象的影响。现有方法在处理动态任务和用户偏好时，往往无法有效保持先前知识的性能。

核心思路：论文的核心思路是通过持续学习框架来增强LLMs的适应能力，具体包括持续预训练、领域自适应预训练和持续微调，以应对不同任务和数据的变化。

技术框架：整体架构分为三个主要阶段：首先是持续预训练（CPT），在此阶段模型在新数据上进行预训练；其次是领域自适应预训练（DAP），模型根据特定领域进行调整；最后是持续微调（CFT），在特定任务上进行细化。

关键创新：本文的主要创新在于将持续学习的概念系统化应用于LLMs，提出了针对动态数据分布的适应性策略，与传统静态学习方法形成鲜明对比。

关键设计：在设计中，论文强调了不同阶段的学习率调整、损失函数的选择以及模型架构的灵活性，以确保模型在不同任务和数据分布下的有效性。具体参数设置和网络结构细节在文中有详细讨论。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

本文通过对现有文献的系统分析，揭示了LLMs在持续学习中的新挑战，并提出了有效的解决方案。研究表明，采用持续预训练和领域自适应预训练的方法，能够显著提高模型在动态任务中的表现，具体性能提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能客服、个性化推荐系统等。通过提升大语言模型在动态环境中的适应能力，可以显著改善用户体验和系统性能，未来可能推动更多智能应用的发展。

📄 摘要（原文）

The recent success of large language models (LLMs) trained on static, pre-collected, general datasets has sparked numerous research directions and applications. One such direction addresses the non-trivial challenge of integrating pre-trained LLMs into dynamic data distributions, task structures, and user preferences. Pre-trained LLMs, when tailored for specific needs, often experience significant performance degradation in previous knowledge domains -- a phenomenon known as "catastrophic forgetting". While extensively studied in the continual learning (CL) community, it presents new manifestations in the realm of LLMs. In this survey, we provide a comprehensive overview of the current research progress on LLMs within the context of CL. This survey is structured into four main sections: we first describe an overview of continually learning LLMs, consisting of two directions of continuity: vertical continuity (or vertical continual learning), i.e., continual adaptation from general to specific capabilities, and horizontal continuity (or horizontal continual learning), i.e., continual adaptation across time and domains (Section 3). We then summarize three stages of learning LLMs in the context of modern CL: Continual Pre-Training (CPT), Domain-Adaptive Pre-training (DAP), and Continual Fine-Tuning (CFT) (Section 4). Then we provide an overview of evaluation protocols for continual learning with LLMs, along with the current available data sources (Section 5). Finally, we discuss intriguing questions pertaining to continual learning for LLMs (Section 6). The full list of papers examined in this survey is available at https://github.com/Wang-ML-Lab/llm-continual-learning-survey.