MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning

📄 arXiv: 2402.17680v1 📥 PDF

作者: Huiyu Xiong, Lanxiao Wang, Heqian Qiu, Taijin Zhao, Benliu Qiu, Hongliang Li

分类: cs.CV

发布日期: 2024-02-27

备注: 13 pages

💡 一句话要点

提出MCF-VC以解决多模态视频字幕中的灾难性遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灾难性遗忘 增量学习 多模态视频 视频字幕生成 知识蒸馏 细粒度选择 特征约束 语义信息

📋 核心要点

  1. 现有方法在处理顺序输入时，无法有效应对旧类别的遗忘，尤其是在复杂的多模态视频字幕生成任务中。
  2. 本文提出MCF-VC，通过细粒度敏感性选择和两阶段知识蒸馏来有效保留旧任务知识，同时学习新任务。
  3. 在MSR-VTT公共数据集上的实验表明，MCF-VC显著减少了旧任务的遗忘率，并在新任务上取得了良好的性能。

📝 摘要（中文）

为了解决因顺序输入中旧类别不可见而导致的灾难性遗忘问题，现有基于相对简单分类任务的研究取得了一定进展。然而，在多模态场景下，视频字幕生成是一项更复杂的任务，尚未在增量学习领域得到探索。本文提出了一种方法MCF-VC，旨在缓解多模态视频字幕生成中的灾难性遗忘。我们设计了基于线性参数掩码和Fisher敏感度的细粒度敏感性选择（FgSS），以有效保留旧任务的有用知识。此外，我们创建了两阶段知识蒸馏（TsKD），通过设计两个蒸馏损失来约束旧任务和新任务的知识特征。实验结果表明，该方法在不重放旧样本的情况下显著抵抗了遗忘，并在新任务上表现良好。

🔬 方法详解

问题定义：本文旨在解决在增量学习中，旧类别因顺序输入不可见而导致的灾难性遗忘问题。现有方法在处理复杂的多模态视频字幕生成任务时，未能有效保留旧任务的知识。

核心思路：MCF-VC通过细粒度敏感性选择（FgSS）和两阶段知识蒸馏（TsKD）来解决稳定性与可塑性之间的矛盾，确保在学习新任务时不遗忘旧任务的知识。

技术框架：该方法包括两个主要模块：FgSS用于选择旧任务的有用知识，TsKD用于在特征层面约束旧任务和新任务的知识特征。具体而言，FgSS基于线性参数的掩码和Fisher敏感度进行设计，而TsKD则通过两个蒸馏损失来实现。

关键创新：最重要的技术创新在于结合了细粒度敏感性选择与两阶段知识蒸馏，能够在学习新任务的同时有效保留旧任务的知识。这种方法在多模态视频字幕生成领域尚属首次。

关键设计：FgSS的设计考虑了线性参数的掩码和Fisher敏感度，以选择对旧任务知识的敏感特征。TsKD则通过约束跨模态语义信息和最终输出的文本信息，确保旧类知识在新类学习中的保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MSR-VTT数据集上的实验结果显示，MCF-VC在不重放旧样本的情况下，显著降低了旧任务的遗忘率，具体表现为遗忘率降低了XX%，同时在新任务上也取得了优异的性能，提升幅度达到YY%。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动化视频编辑和智能内容生成等。通过有效缓解灾难性遗忘，MCF-VC能够在动态环境中持续学习新任务，同时保持对旧任务的良好性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

To address the problem of catastrophic forgetting due to the invisibility of old categories in sequential input, existing work based on relatively simple categorization tasks has made some progress. In contrast, video captioning is a more complex task in multimodal scenario, which has not been explored in the field of incremental learning. After identifying this stability-plasticity problem when analyzing video with sequential input, we originally propose a method to Mitigate Catastrophic Forgetting in class-incremental learning for multimodal Video Captioning (MCF-VC). As for effectively maintaining good performance on old tasks at the macro level, we design Fine-grained Sensitivity Selection (FgSS) based on the Mask of Linear's Parameters and Fisher Sensitivity to pick useful knowledge from old tasks. Further, in order to better constrain the knowledge characteristics of old and new tasks at the specific feature level, we have created the Two-stage Knowledge Distillation (TsKD), which is able to learn the new task well while weighing the old task. Specifically, we design two distillation losses, which constrain the cross modal semantic information of semantic attention feature map and the textual information of the final outputs respectively, so that the inter-model and intra-model stylized knowledge of the old class is retained while learning the new class. In order to illustrate the ability of our model to resist forgetting, we designed a metric CIDER_t to detect the stage forgetting rate. Our experiments on the public dataset MSR-VTT show that the proposed method significantly resists the forgetting of previous tasks without replaying old samples, and performs well on the new task.