Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation

📄 arXiv: 2404.00417v1 📥 PDF

作者: HongWei Yan, Liyuan Wang, Kaisheng Ma, Yi Zhong

分类: cs.LG, cs.AI, cs.CV

发布日期: 2024-03-30

备注: CVPR 2024

💡 一句话要点

提出MOSE以解决在线持续学习中的过拟合与欠拟合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线持续学习 反向自蒸馏 多级监督 知识蒸馏 模型适应性

📋 核心要点

  1. 现有的在线持续学习方法主要依赖于旧样本的重放，导致新样本学习不足和旧样本过度学习的问题。
  2. 本文提出的MOSE方法通过多级监督和反向自蒸馏，将模型培养为堆叠的子专家，以解决上述问题。
  3. 实验结果表明，MOSE在Split CIFAR-100和Split Tiny-ImageNet数据集上分别提升了7.3%和6.1%的性能，显著优于现有基线。

📝 摘要（中文）

为了适应现实世界的动态变化，人工智能系统需要以在线方式处理连续到达的数据。与传统的离线持续学习（CL）不同，在线持续学习（OCL）在单次数据流中进行学习，面临更大的挑战。现有OCL方法主要依赖于旧样本的记忆重放，但在使用重放缓冲区时，存在学习新样本不足（欠拟合）和重复学习旧样本过多（过拟合）的困境。为此，本文提出了一种新方法——多级在线序列专家（MOSE），通过堆叠子专家、整合多级监督和反向自蒸馏，促进模型的适当收敛并减轻旧任务性能下降。MOSE在学习新样本和保留旧知识方面表现出色，显著提升了OCL的性能。

🔬 方法详解

问题定义：本文旨在解决在线持续学习中的过拟合与欠拟合问题。现有方法在使用重放缓冲区时，容易导致新样本学习不足和旧样本重复学习过多，影响模型性能。

核心思路：MOSE方法通过构建多级专家模型，结合多级监督信号和反向自蒸馏，促进新任务的适当收敛，同时利用知识蒸馏减轻旧任务的性能下降。

技术框架：MOSE的整体架构包括多个子专家，每个专家在不同的学习阶段接收监督信号。通过反向自蒸馏，专家之间共享知识，增强模型的学习能力。

关键创新：MOSE的核心创新在于多级监督和反向自蒸馏的结合，这一设计有效解决了传统OCL方法中的过拟合与欠拟合问题，提升了模型的学习效率。

关键设计：在参数设置上，MOSE采用了适应性学习率和动态调整的重放缓冲区大小。损失函数设计上，结合了新任务的交叉熵损失和旧任务的蒸馏损失，以平衡新旧知识的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MOSE在Split CIFAR-100和Split Tiny-ImageNet数据集上分别提升了7.3%和6.1%的性能，显著超过了现有的最先进基线，展示了其在在线持续学习中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、在线推荐系统等需要实时学习和适应新环境的场景。通过提升在线持续学习的能力，MOSE能够帮助这些系统更好地应对动态变化，提高决策的准确性和效率。

📄 摘要（原文）

To accommodate real-world dynamics, artificial intelligence systems need to cope with sequentially arriving content in an online manner. Beyond regular Continual Learning (CL) attempting to address catastrophic forgetting with offline training of each task, Online Continual Learning (OCL) is a more challenging yet realistic setting that performs CL in a one-pass data stream. Current OCL methods primarily rely on memory replay of old training samples. However, a notable gap from CL to OCL stems from the additional overfitting-underfitting dilemma associated with the use of rehearsal buffers: the inadequate learning of new training samples (underfitting) and the repeated learning of a few old training samples (overfitting). To this end, we introduce a novel approach, Multi-level Online Sequential Experts (MOSE), which cultivates the model as stacked sub-experts, integrating multi-level supervision and reverse self-distillation. Supervision signals across multiple stages facilitate appropriate convergence of the new task while gathering various strengths from experts by knowledge distillation mitigates the performance decline of old tasks. MOSE demonstrates remarkable efficacy in learning new samples and preserving past knowledge through multi-level experts, thereby significantly advancing OCL performance over state-of-the-art baselines (e.g., up to 7.3% on Split CIFAR-100 and 6.1% on Split Tiny-ImageNet).