Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation

📄 arXiv: 2611.02746v1 📥 PDF

作者: Yiqiao Qiu

分类: cs.LG, cs.CL

发布日期: 2026-11-02

💡 一句话要点

提出多教师在线蒸馏方法以解决持续学习中的知识遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 多教师蒸馏 知识重放 自然语言处理 模型适应性

📋 核心要点

  1. 现有的多教师蒸馏方法在领域逐个到达时面临知识遗忘的问题，早期专家无法再利用。
  2. 论文提出通过重放早期领域的提示来帮助学生学习，避免了对所有专家的依赖。
  3. 实验结果显示，重放机制能够显著提升模型性能，尤其是在共享预算的情况下，缩小了与最佳方法的差距。

📝 摘要（中文）

多教师在线蒸馏（MOPD）将领域专家蒸馏为一个学生，但需要同时使用所有专家。当领域逐个到达且早期专家不可用时，之前阶段的学生可以通过重放早期领域的提示进行学习。本文在五个领域中比较了重放与快照存储的效果，发现重放能够有效缩小与联合MOPD的性能差距。实验结果表明，固定重放步骤的共享预算在多个训练运行中表现优异，且在安全性评估中排名第一。

🔬 方法详解

问题定义：本文旨在解决在持续学习中，领域逐个到达时早期知识的遗忘问题。现有的多教师蒸馏方法需要同时使用所有领域专家，导致在某些情况下无法有效学习。

核心思路：论文提出通过重放早期领域的提示来帮助学生模型进行学习，避免了对所有专家的依赖，从而实现更灵活的知识传递。

技术框架：整体架构包括多个阶段，每个阶段使用当前领域的专家进行蒸馏，同时重放早期领域的提示。主要模块包括专家模型、学生模型和重放机制。

关键创新：最重要的创新在于提出了共享预算的重放机制，使得学生模型能够在没有所有专家的情况下，仍然有效地学习早期领域的知识。

关键设计：在实验中，重放步骤的数量与领域数量呈平方关系，且通过调整重放信号（如令牌级蒸馏和隐藏状态对齐）来优化性能。

📊 实验亮点

实验结果显示，使用重放机制的模型在14个基准测试中平均提升了6.2分，且在共享预算的情况下，固定重放步骤的配置在多个训练运行中表现优异，缩小了与最佳联合MOPD方法的差距。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人学习和智能系统等，能够有效提升模型在动态环境中的学习能力，减少知识遗忘，增强模型的适应性和鲁棒性。未来可能在多领域知识迁移和持续学习的实际应用中发挥重要作用。

📄 摘要（原文）

Multi-teacher on-policy distillation (MOPD) distills domain experts into one student but needs every expert at once. When domains arrive one at a time and earlier experts are gone, the previous-stage student can teach replayed prompts of earlier domains inside every stage. Some pipelines instead store every stage snapshot for a final multi-teacher recovery stage. On five domains with a 1.5B student and five public experts, this paper compares both with joint MOPD. It varies the replay budget and the replay signal. The signal is token-level distillation alone or with alignment of hidden states, attention and value relations. Sequential distillation without replay or recovery is 6.2 points below 208-step joint MOPD on a 14-benchmark average and 3.5 points below on the 11 benchmarks outside safety. Without snapshots, replay toward the previous student closes 3.8 of the 6.2 points when the earlier domains share the replay budget of a stage. With a fixed share of seven replay steps per earlier domain and stage, it closes 5.8 over two training runs. This is level with the 5.9 of recovery from all snapshots, both at its default length and when given as many training steps as the fixed share. Alignment terms on replay steps change the average by about one point or less. If refusal and compliance count equally in safety, shared-budget replay ranks first among the trained configurations, and the fixed share stays at or above recovery. Against the shared budget, the fixed share lowers the score on the newest domain. Recovery lowers this score as well, in five of six cases. The replay steps of the fixed share grow quadratically with the number of stages.