Examining Forgetting in Continual Pre-training of Aligned Large Language Models

📄 arXiv: 2401.03129v1 📥 PDF

作者: Chen-An Li, Hung-Yi Lee

分类: cs.CL

发布日期: 2024-01-06

备注: Work in progress

💡 一句话要点

研究持续预训练中的遗忘现象以提升大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 持续预训练 灾难性遗忘 知识保持 输出一致性 自然语言处理 模型评估

📋 核心要点

  1. 核心问题：持续预训练过程中，现有微调模型容易出现灾难性遗忘，影响模型性能和可靠性。
  2. 方法要点：研究通过评估持续预训练对微调LLM的影响，提出针对遗忘现象的分析框架。
  3. 实验或效果：实验结果表明，持续预训练对模型的输出格式和知识保持存在显著挑战，尤其是重复性问题。

📝 摘要（中文）

近年来，大语言模型（LLMs）在多种任务中展现出卓越的能力。随着LLMs在各个领域的广泛应用，其开发也迅速增加。在LLMs的开发过程中，持续预训练已成为一种常见做法，但这可能导致灾难性遗忘。本文探讨了在现有微调LLM上进行持续预训练时发生的遗忘现象，评估了持续预训练对微调LLM在输出格式、知识和可靠性等多个维度的影响。实验结果突显了在持续预训练过程中应对灾难性遗忘的非平凡挑战，尤其是重复性问题。

🔬 方法详解

问题定义：本文旨在解决在现有微调大语言模型上进行持续预训练时出现的灾难性遗忘问题。现有方法在处理模型知识保持和输出一致性方面存在不足，导致模型性能下降。

核心思路：论文提出了一种分析框架，系统评估持续预训练对微调LLM的影响，特别关注输出格式、知识保持和可靠性等维度，以识别和缓解遗忘现象。

技术框架：研究首先对微调后的LLM进行基线评估，然后实施持续预训练，最后通过对比实验分析模型在不同维度的表现变化，主要模块包括基线评估、持续预训练实施和效果评估。

关键创新：最重要的技术创新在于提出了针对持续预训练的系统性评估方法，能够识别和量化灾难性遗忘的影响，与现有方法相比，提供了更全面的分析视角。

关键设计：在实验中，设置了不同的预训练周期和学习率，并使用特定的损失函数来优化模型性能，确保在持续预训练过程中尽量减少知识遗忘。实验还考虑了输出格式的一致性，以提高模型的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在进行持续预训练后，模型在知识保持和输出一致性方面的性能显著下降，尤其是在重复性问题上表现突出。通过对比基线，研究表明，模型在某些任务上的性能下降幅度可达20%以上，强调了持续预训练中遗忘现象的严重性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和知识图谱等。通过深入理解和解决持续预训练中的遗忘现象，可以提升大语言模型在实际应用中的稳定性和可靠性，进而推动智能助手、自动翻译等技术的发展。未来，该研究可能为大规模模型的持续学习提供新的思路和方法。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have exhibited remarkable proficiency across various tasks. Given the potent applications of LLMs in numerous fields, there has been a surge in LLM development. In developing LLMs, a common practice involves continual pre-training on previously fine-tuned models. However, this can lead to catastrophic forgetting. In our work, we investigate the phenomenon of forgetting that occurs during continual pre-training on an existing fine-tuned LLM. We evaluate the impact of continuous pre-training on the fine-tuned LLM across various dimensions, including output format, knowledge, and reliability. Experiment results highlight the non-trivial challenge of addressing catastrophic forgetting during continual pre-training, especially the repetition issue.