REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning

📄 arXiv: 2403.13522v3 📥 PDF

作者: Run He, Di Fang, Yizhu Chen, Kai Tong, Cen Chen, Yi Wang, Lap-pui Chau, Huiping Zhuang

分类: cs.LG, cs.CV

发布日期: 2024-03-20 (更新: 2025-12-17)

备注: 13 pages, 7 figures. This paper is published in Knowledge-based System

DOI: 10.1016/j.knosys.2025.114901

💡 一句话要点

提出REAL以解决无样本类增量学习中的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无样本学习 类增量学习 灾难性遗忘 特征增强 自监督学习 蒸馏训练 计算机视觉

📋 核心要点

  1. 现有的无样本类增量学习方法在应对灾难性遗忘时表现不佳，尤其是在缺乏历史样本的情况下。
  2. 本文提出的REAL方法通过双流预训练和表示增强蒸馏，提升了特征表示能力，并有效利用了主干网络的知识。
  3. 实验结果显示，REAL在多个基准数据集上表现优异，超越了现有的无样本和基于样本的方法。

📝 摘要（中文）

无样本类增量学习（EFCIL）旨在减轻类增量学习（CIL）中的灾难性遗忘，而不依赖于历史训练样本。与基于样本的CIL相比，EFCIL在遗忘问题上更为严重。近期，分析持续学习（ACL）引入了一种无梯度的范式，通过递归最小二乘法实现了在CIL过程中冻结主干网络的遗忘抗性分类器训练。然而，现有的ACL在表示能力和主干知识利用上存在不足。本文提出了一种表示增强的分析学习（REAL）方法，以解决这些问题。REAL通过双流基础预训练和表示增强蒸馏过程来增强表示，结合自监督对比学习和监督学习，提升后续CIL的表示能力。实验结果表明，REAL在CIFAR-100、ImageNet-100和ImageNet-1k基准上实现了最先进的性能，超越了无样本方法，并与基于样本的方法相抗衡。

🔬 方法详解

问题定义：本文旨在解决无样本类增量学习中的灾难性遗忘问题，现有方法在表示能力和主干知识利用上存在不足。

核心思路：REAL通过双流基础预训练结合自监督和监督学习，增强特征表示，并利用特征融合缓冲区来整合多层主干特征。

技术框架：整体架构包括双流基础预训练、表示增强蒸馏和特征融合缓冲区，分别负责特征提取、表示提升和信息整合。

关键创新：REAL的主要创新在于通过双流学习和特征融合缓冲区有效提升了表示能力，与传统ACL方法相比，显著增强了对主干知识的利用。

关键设计：在设计中，采用了自监督对比学习和监督学习相结合的方式，损失函数设计上注重表示的增强和融合，网络结构上则通过多层特征融合提升分类器的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，REAL在CIFAR-100、ImageNet-100和ImageNet-1k数据集上达到了最先进的性能，超越了现有的无样本方法，并与基于样本的方法相当，展示了显著的性能提升。

🎯 应用场景

该研究在计算机视觉、机器人和智能系统等领域具有广泛的应用潜力，尤其是在需要持续学习和适应新类别的场景中。通过减少遗忘，REAL能够提升模型在动态环境中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Exemplar-free class-incremental learning (EFCIL) aims to mitigate catastrophic forgetting in class-incremental learning (CIL) without available historical training samples as exemplars. Compared with its exemplar-based CIL counterpart that stores exemplars, EFCIL suffers more from forgetting issues. Recently, a new EFCIL branch named Analytic Continual Learning (ACL) introduces a gradient-free paradigm via Recursive Least-Square, achieving a forgetting-resistant classifier training with a frozen backbone during CIL. However, existing ACL suffers from ineffective representations and insufficient utilization of backbone knowledge. In this paper, we propose a representation-enhanced analytic learning (REAL) to address these problems. To enhance the representation, REAL constructs a dual-stream base pretraining followed by representation enhancing distillation process. The dual-stream base pretraining combines self-supervised contrastive learning for general features and supervised learning for class-specific knowledge, followed by the representation enhancing distillation to merge both streams, enhancing representations for subsequent CIL paradigm. To utilize more knowledge from the backbone, REAL presents a feature fusion buffer to multi-layer backbone features, providing informative features for the subsequent classifier training. Our method can be incorporated into existing ACL techniques and provides more competitive performance. Empirical results demonstrate that, REAL achieves state-of-the-art performance on CIFAR-100, ImageNet-100 and ImageNet-1k benchmarks, outperforming exemplar-free methods and rivaling exemplar-based approaches.