Don't Half-listen: Capturing Key-part Information in Continual Instruction Tuning

📄 arXiv: 2403.10056v4 📥 PDF

作者: Yongquan He, Wenyuan Zhang, Xuancheng Huang, Peng Zhang, Lingxun Meng, Xiang Zhou, Ke Zeng, Xunliang Cai

分类: cs.CL, cs.AI

发布日期: 2024-03-15 (更新: 2025-05-27)

备注: 20 pages, 6 figures

💡 一句话要点

提出基于关键部分信息增益的持续指令调优方法以解决遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续指令调优 灾难性遗忘 信息增益 大规模语言模型 任务感知

📋 核心要点

  1. 现有的持续指令调优方法容易导致灾难性遗忘，无法有效保持先前学习的能力。
  2. 本文提出了一种基于关键部分信息增益的调优方法，通过动态重放数据来优化训练目标。
  3. 实验结果显示，该方法在多个任务上表现优异，相较于基线方法有显著提升。

📝 摘要（中文）

大规模语言模型（LLMs）的指令调优可以使其在特定下游任务中产生与人类目标一致的结果。然而，持续指令调优（CIT）过程中可能会出现灾难性遗忘（CF）问题，导致先前学习的能力退化。本文提出了一种基于关键部分信息增益（KPIG）的新型持续指令调优方法，通过计算掩码部分的信息增益，动态重放数据并优化训练目标，从而使LLMs能够捕捉与正确响应相关的任务感知信息，减轻对指令中一般描述的过拟合。此外，本文提出了两个指标P-score和V-score，用于衡量LLMs的泛化能力和指令遵循能力。实验结果表明，该方法在已见和未见任务上均表现出色。

🔬 方法详解

问题定义：本文旨在解决持续指令调优过程中出现的灾难性遗忘问题，现有方法往往只能记住指令的表面模式，导致在新任务上表现不佳。

核心思路：提出基于关键部分信息增益（KPIG）的调优方法，通过计算掩码部分的信息增益，动态重放数据，从而帮助模型捕捉与任务相关的信息，减轻对一般描述的过拟合。

技术框架：整体架构包括数据重放模块和训练目标优化模块。数据重放模块根据KPIG动态选择重放的数据，而训练目标优化模块则根据重放数据调整模型的学习目标。

关键创新：最重要的创新点在于引入KPIG作为动态重放的依据，使得模型能够更有效地捕捉任务相关信息，与传统方法相比，能够更好地应对灾难性遗忘。

关键设计：在参数设置上，重放策略根据KPIG的计算结果进行动态调整；损失函数设计上，结合了新旧任务的平衡，以确保模型在新任务上学习的同时不遗忘旧任务的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在已见任务和未见任务上均取得了显著的性能提升。在与基线方法的比较中，P-score和V-score分别提高了XX%和YY%，显示出更强的泛化能力和指令遵循能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过有效的持续指令调优，模型能够在不断变化的任务环境中保持高效的学习能力，提升用户体验和系统的智能化水平。未来，该方法可能对大规模语言模型的实际应用产生深远影响，推动其在多领域的广泛应用。

📄 摘要（原文）

Instruction tuning for large language models (LLMs) can drive them to produce results consistent with human goals in specific downstream tasks. However, the process of continual instruction tuning (CIT) for LLMs may bring about the catastrophic forgetting (CF) problem, where previously learned abilities are degraded. Recent methods try to alleviate the CF problem by modifying models or replaying data, which may only remember the surface-level pattern of instructions and get confused on held-out tasks. In this paper, we propose a novel continual instruction tuning method based on Key-part Information Gain (KPIG). Our method computes the information gain on masked parts to dynamically replay data and refine the training objective, which enables LLMs to capture task-aware information relevant to the correct response and alleviate overfitting to general descriptions in instructions. In addition, we propose two metrics, P-score and V-score, to measure the generalization and instruction-following abilities of LLMs. Experiments demonstrate our method achieves superior performance on both seen and held-out tasks.