Generative Multi-modal Models are Good Class-Incremental Learners

📄 arXiv: 2403.18383v1 📥 PDF

作者: Xusheng Cao, Haori Lu, Linlan Huang, Xialei Liu, Ming-Ming Cheng

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-03-27

备注: Accepted at CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出生成多模态模型以解决类增量学习中的灾难性遗忘问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 类增量学习 生成模型 多模态学习 灾难性遗忘 特征匹配 文本编码

📋 核心要点

  1. 核心问题：现有的类增量学习方法面临灾难性遗忘，尤其在处理长序列任务时，判别模型的偏见导致性能下降。
  2. 方法要点：本文提出的生成多模态模型通过生成标签并结合文本特征匹配来进行分类，旨在减少遗忘现象。
  3. 实验或效果：在少样本CIL设置下，本文方法的准确率提升至少14%，并在长序列任务中表现出显著的效果改善。

📝 摘要（中文）

在类增量学习（CIL）场景中，由于分类器对当前任务的偏见，灾难性遗忘现象长期以来一直是一个重大挑战。这主要源于判别模型的特性。随着生成多模态模型的日益流行，本文探索用生成模型替代判别模型进行CIL。然而，从判别模型转向生成模型需要解决两个关键挑战：一是将生成的文本信息转化为不同类别的分类，二是需要在生成框架内制定CIL任务。为此，本文提出了一种新颖的生成多模态模型（GMM）框架。该方法直接使用适应的生成模型为图像生成标签，通过文本编码器提取文本特征，并采用特征匹配确定最相似的标签作为分类预测。在传统CIL设置下，我们在长序列任务场景中取得了显著更好的结果。在少样本CIL设置下，我们的准确率比当前所有最先进的方法提高了至少14%，且遗忘现象显著减少。

🔬 方法详解

问题定义：本文旨在解决类增量学习中的灾难性遗忘问题，现有的判别模型在面对新任务时容易遗忘旧任务的知识，导致分类性能下降。

核心思路：论文提出通过生成多模态模型来替代传统的判别模型，利用生成模型生成标签并结合文本特征进行分类，从而有效减少遗忘现象。

技术框架：整体架构包括生成模型、文本编码器和特征匹配模块。生成模型负责生成图像的标签，文本编码器提取文本特征，特征匹配模块则用于确定最相似的标签进行分类。

关键创新：最重要的技术创新在于将生成模型应用于类增量学习，直接生成标签并通过文本特征匹配进行分类，这一方法与传统的判别模型有本质区别。

关键设计：在模型设计中，采用了适应的生成模型来生成标签，使用文本编码器提取特征，并通过特征匹配来进行分类预测，确保了模型在长序列任务中的有效性。具体的损失函数和参数设置在实验中进行了优化。

📊 实验亮点

在实验中，提出的生成多模态模型在少样本CIL设置下的准确率提升至少14%，并在长序列任务场景中表现出显著的效果改善，显示出较低的遗忘率，优于当前所有最先进的方法。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、医疗影像分析等需要持续学习新任务的场景。通过减少灾难性遗忘，生成多模态模型能够在动态环境中保持较高的分类性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

In class-incremental learning (CIL) scenarios, the phenomenon of catastrophic forgetting caused by the classifier's bias towards the current task has long posed a significant challenge. It is mainly caused by the characteristic of discriminative models. With the growing popularity of the generative multi-modal models, we would explore replacing discriminative models with generative ones for CIL. However, transitioning from discriminative to generative models requires addressing two key challenges. The primary challenge lies in transferring the generated textual information into the classification of distinct categories. Additionally, it requires formulating the task of CIL within a generative framework. To this end, we propose a novel generative multi-modal model (GMM) framework for class-incremental learning. Our approach directly generates labels for images using an adapted generative model. After obtaining the detailed text, we use a text encoder to extract text features and employ feature matching to determine the most similar label as the classification prediction. In the conventional CIL settings, we achieve significantly better results in long-sequence task scenarios. Under the Few-shot CIL setting, we have improved by at least 14\% accuracy over all the current state-of-the-art methods with significantly less forgetting. Our code is available at \url{https://github.com/DoubleClass/GMM}.