Hierarchical Augmentation and Distillation for Class Incremental Audio-Visual Video Recognition

📄 arXiv: 2401.06287v3 📥 PDF

作者: Yukun Zuo, Hantao Yao, Liansheng Zhuang, Changsheng Xu

分类: cs.CV

发布日期: 2024-01-11 (更新: 2024-06-07)

备注: Accepted by TPAMI

💡 一句话要点

提出分层增强与蒸馏方法以解决增量音视频识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 增量学习 音视频识别 分层蒸馏 多模态融合 灾难性遗忘

📋 核心要点

  1. 现有音视频视频识别方法在面对新类别时，无法有效保留历史类别知识，导致灾难性遗忘。
  2. 本文提出分层增强与蒸馏（HAD）方法，通过分层增强模块和分层蒸馏模块，充分利用数据和模型的层次结构。
  3. 在四个基准数据集上的评估结果显示，HAD显著提升了历史类别知识的保留能力和识别性能。

📝 摘要（中文）

音视频视频识别（AVVR）旨在整合音频和视觉线索以准确分类视频。现有方法在面对新类别时难以保留历史类别知识，缺乏专门的解决方案。本文集中探讨增量音视频视频识别（CIAVVR），提出分层增强与蒸馏（HAD）方法，包含分层增强模块（HAM）和分层蒸馏模块（HDM），有效利用数据和模型的层次结构。HAM通过段特征增强策略保留模型知识，HDM则引入层次逻辑蒸馏和层次相关蒸馏以捕获和维护数据的层次知识。实验结果表明，HAD在四个基准数据集上有效提升了历史类别知识的保留和识别性能。

🔬 方法详解

问题定义：本文旨在解决增量音视频视频识别（CIAVVR）中的灾难性遗忘问题。现有方法在引入新类别时，无法有效保留历史类别知识，导致模型性能下降。

核心思路：提出分层增强与蒸馏（HAD）方法，通过分层增强模块（HAM）和分层蒸馏模块（HDM）来捕获和维护历史知识，防止灾难性遗忘。该设计旨在充分利用数据和模型的层次结构。

技术框架：HAD方法包含两个主要模块：分层增强模块（HAM）和分层蒸馏模块（HDM）。HAM通过段特征增强策略来保留模型的层次知识，而HDM则通过层次逻辑蒸馏和层次相关蒸馏来捕获数据的层次知识。

关键创新：最重要的创新在于引入了段特征增强策略和层次蒸馏方法，这些方法能够有效捕获和维护数据及模型的层次知识，显著区别于现有的增量学习方法。

关键设计：在HAM中，采用了段特征增强策略以保留模型的层次知识；在HDM中，设计了层次逻辑蒸馏和层次相关蒸馏，分别用于捕获数据的层次内样本知识和层次间样本知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个基准数据集（AVE、AVK-100、AVK-200和AVK-400）上的实验结果表明，HAD方法显著提升了模型的历史类别知识保留能力，识别性能相比基线方法提升了XX%（具体数据未知），验证了其有效性。

🎯 应用场景

该研究在音视频识别领域具有广泛的应用潜力，尤其是在需要处理不断变化类别的场景，如视频监控、内容推荐和自动标注等。通过有效保留历史知识，模型能够在动态环境中持续学习，提升识别准确性和鲁棒性。

📄 摘要（原文）

Audio-visual video recognition (AVVR) aims to integrate audio and visual clues to categorize videos accurately. While existing methods train AVVR models using provided datasets and achieve satisfactory results, they struggle to retain historical class knowledge when confronted with new classes in real-world situations. Currently, there are no dedicated methods for addressing this problem, so this paper concentrates on exploring Class Incremental Audio-Visual Video Recognition (CIAVVR). For CIAVVR, since both stored data and learned model of past classes contain historical knowledge, the core challenge is how to capture past data knowledge and past model knowledge to prevent catastrophic forgetting. We introduce Hierarchical Augmentation and Distillation (HAD), which comprises the Hierarchical Augmentation Module (HAM) and Hierarchical Distillation Module (HDM) to efficiently utilize the hierarchical structure of data and models, respectively. Specifically, HAM implements a novel augmentation strategy, segmental feature augmentation, to preserve hierarchical model knowledge. Meanwhile, HDM introduces newly designed hierarchical (video-distribution) logical distillation and hierarchical (snippet-video) correlative distillation to capture and maintain the hierarchical intra-sample knowledge of each data and the hierarchical inter-sample knowledge between data, respectively. Evaluations on four benchmarks (AVE, AVK-100, AVK-200, and AVK-400) demonstrate that the proposed HAD effectively captures hierarchical information in both data and models, resulting in better preservation of historical class knowledge and improved performance. Furthermore, we provide a theoretical analysis to support the necessity of the segmental feature augmentation strategy.