InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions

📄 arXiv: 2403.11435v1 📥 PDF

作者: Yifan Wang, Yafei Liu, Chufan Shi, Haoling Li, Chen Chen, Haonan Lu, Yujiu Yang

分类: cs.CL

发布日期: 2024-03-18

备注: Accepted by NAACL 2024

💡 一句话要点

提出InsCL以解决大语言模型的持续学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大语言模型 指令调优 动态重放 Wasserstein距离 指令信息度量 性能提升

📋 核心要点

  1. 现有的基于重放的持续学习方法未能充分利用指令信息，导致重放策略的效率低下。
  2. 本文提出InsCL，通过Wasserstein距离计算任务相似性，动态重放与任务相关的数据，以提高学习效率。
  3. 在16个不同训练顺序的任务上进行实验，InsCL表现出一致的性能提升，尤其在与随机重放和无重放的比较中，分别实现了3.0和27.96的相对增益。

📝 摘要（中文）

指令调优有效地优化了大语言模型（LLMs）以适应下游任务。由于现实应用中的环境变化，LLMs需要持续的任务特定适应而不发生灾难性遗忘。考虑到高昂的计算成本，基于重放的持续学习方法是解决遗忘问题的最简单且广泛使用的方式。然而，传统的重放方法未能充分利用指令来定制重放策略。本文提出了一种新颖的范式，称为基于指令的持续学习（InsCL）。InsCL根据任务相似性动态重放先前数据，任务相似性通过指令计算的Wasserstein距离来衡量。此外，我们进一步引入了指令信息度量（InsInfo）来量化指令的复杂性和多样性。根据InsInfo，InsCL引导重放过程更倾向于高质量数据。我们在16个任务上进行了广泛实验，观察到InsCL的一致性能提升。当所有任务都经过训练时，InsCL与随机重放相比实现了3.0的相对增益，与无重放相比实现了27.96的相对增益。

🔬 方法详解

问题定义：本文旨在解决大语言模型在持续学习过程中面临的灾难性遗忘问题，现有的基于重放的方法未能有效利用指令信息，从而影响了重放策略的有效性。

核心思路：InsCL的核心思路是通过计算任务相似性来动态重放数据，利用Wasserstein距离来衡量指令之间的相似性，从而优化重放策略，确保模型在学习新任务时不遗忘旧任务。

技术框架：InsCL的整体架构包括指令信息度量（InsInfo）模块和动态重放机制。InsInfo用于量化指令的复杂性和多样性，而动态重放机制则根据任务相似性选择重放的数据。

关键创新：InsCL的主要创新在于引入了指令信息度量（InsInfo），使得重放策略能够更倾向于高质量数据，从而提升了模型的学习效率和性能。这一方法与传统的随机重放方法有本质区别。

关键设计：在设计中，InsInfo的计算方式和重放策略的选择是关键，确保重放的数据不仅与当前任务相关，还能有效地促进模型的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InsCL在16个任务上均表现出显著的性能提升，与随机重放相比实现了3.0的相对增益，与无重放相比则实现了27.96的相对增益，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等需要持续学习的场景。通过提高大语言模型的适应能力，InsCL能够在动态环境中保持高效的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Instruction tuning effectively optimizes Large Language Models (LLMs) for downstream tasks. Due to the changing environment in real-life applications, LLMs necessitate continual task-specific adaptation without catastrophic forgetting. Considering the heavy computational cost, replay-based Continual Learning (CL) methods are the simplest and most widely used for LLMs to address the forgetting issue. However, traditional replay-based methods do not fully utilize instructions to customize the replay strategy. In this work, we propose a novel paradigm called Instruction-based Continual Learning (InsCL). InsCL dynamically replays previous data based on task similarity, calculated by Wasserstein Distance with instructions. Moreover, we further introduce an Instruction Information Metric (InsInfo) to quantify the complexity and diversity of instructions. According to InsInfo, InsCL guides the replay process more inclined to high-quality data. We conduct extensive experiments over 16 tasks with different training orders, observing consistent performance improvements of InsCL. When all tasks have been trained, InsCL achieves performance gains of 3.0 Relative Gain compared with Random Replay, and 27.96 Relative Gain compared with No Replay.