Can LLMs Learn New Concepts Incrementally without Forgetting?

📄 arXiv: 2402.08526v3 📥 PDF

作者: Junhao Zheng, Shengjie Qiu, Qianli Ma

分类: cs.LG, cs.CL

发布日期: 2024-02-13 (更新: 2024-06-18)

备注: 28 pages

💡 一句话要点

提出Concept-1K数据集以解决LLMs增量学习遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 增量学习 大型语言模型 灾难性遗忘 Concept-1K 知识获取 模型评估 上下文学习

📋 核心要点

  1. 现有的增量学习方法在处理大型语言模型时存在数据泄露和过度资格的问题，导致模型无法有效学习新概念而不遗忘。
  2. 本文提出Concept-1K数据集，包含1,023个新兴概念，旨在为增量学习提供一个可靠的测试平台，以分析学习与遗忘过程。
  3. 研究表明，LLMs在增量学习中仍然遭遇灾难性遗忘，且LoRA微调可能导致更多的遗忘，强调了模型在IL场景中的局限性。

📝 摘要（中文）

大型语言模型（LLMs）在多项任务中取得了显著成功，但其增量学习能力及防止遗忘的能力仍未得到充分探讨。增量学习（IL）至关重要，因为它使模型能够在保留先前学习信息的同时获取新知识，类似于人类学习。现有的IL基准测试存在数据泄露和LLMs过度资格的问题。为了解决这些挑战，本文提出了Concept-1K，一个包含1,023个新兴概念的全新数据集，涵盖多个领域。通过Concept-1K作为测试平台，本文旨在探讨LLMs是否能够像人类一样增量学习新概念而不遗忘。研究发现，LLMs仍然面临灾难性遗忘的问题，尽管LoRA微调了较少的参数，但可能导致训练数据的更多遗忘。此外，本文还探讨了上下文学习、模型规模、缓冲区大小和预训练在IL性能中的作用。这些发现突显了LLMs在IL场景中的优势和局限性，并为未来的研究提供了一个稳健的基准。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在增量学习过程中面临的遗忘问题，现有方法在数据泄露和模型过度资格方面存在不足，影响了模型的学习能力。

核心思路：通过引入Concept-1K数据集，提供了一种新的评估方式，允许对增量学习过程进行细致分析，帮助理解LLMs在学习新概念时的表现。

技术框架：整体架构包括数据集构建、模型训练与评估三个主要模块。首先构建Concept-1K数据集，然后对LLMs进行增量学习训练，最后评估模型在新旧概念上的表现。

关键创新：Concept-1K数据集的提出是本文的核心创新，它提供了可解释的知识单元，使得对学习与遗忘过程的分析更加细致和全面。

关键设计：在实验中，采用了LoRA微调技术，设置了不同的模型规模和缓冲区大小，并探讨了上下文学习和预训练对增量学习性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在增量学习中仍然面临灾难性遗忘，尤其是在使用LoRA微调时，遗忘现象更加明显。通过对比不同模型规模和缓冲区设置，研究揭示了这些因素对增量学习性能的显著影响，为未来研究提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括教育、智能助手和人机交互等场景，能够帮助模型在不断变化的环境中有效学习新知识，提升其适应性和智能水平。未来，Concept-1K数据集也可作为增量学习研究的标准基准，推动相关领域的发展。

📄 摘要（原文）

Large Language Models (LLMs) have achieved remarkable success across various tasks, yet their ability to learn incrementally without forgetting remains underexplored. Incremental learning (IL) is crucial as it enables models to acquire new knowledge while retaining previously learned information, akin to human learning. Existing benchmarks for IL are insufficient due to data leakage issues and the overqualification of LLMs. To address these challenges, we introduce Concept-1K, a novel dataset comprising 1,023 recently emerged concepts across diverse domains. The concepts in Concept-1K are discrete, interpretable units of knowledge that allow for fine-grained analysis of learning and forgetting processes. Using Concept-1K as a testbed, we aim to answer the question: ``Can LLMs learn new concepts incrementally without forgetting like humans?'' Our investigation reveals that LLMs still suffer from catastrophic forgetting and that LoRA, despite fine-tuning fewer parameters, may lead to more forgetting on training data. Additionally, we explore the roles of in-context learning, model scale, buffer size, and pretraining in IL performance. These findings highlight the strengths and limitations of LLMs in IL scenarios and provide a robust benchmark for future research.