M2-CLIP: A Multimodal, Multi-task Adapting Framework for Video Action Recognition

📄 arXiv: 2401.11649v1 📥 PDF

作者: Mengmeng Wang, Jiazheng Xing, Boyuan Jiang, Jun Chen, Jianbiao Mei, Xingxing Zuo, Guang Dai, Jingdong Wang, Yong Liu

分类: cs.CV

发布日期: 2024-01-22

期刊: AAAI2024

💡 一句话要点

提出M2-CLIP框架以解决视频动作识别中的迁移能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频动作识别 多模态学习 迁移学习 深度学习 视觉语言模型

📋 核心要点

  1. 现有视频动作识别方法往往过于关注强监督性能，导致模型在迁移任务中的泛化能力不足。
  2. 本文提出M2-CLIP框架，通过引入多模态适配器和多任务解码器，增强模型的监督性能与迁移能力。
  3. 实验结果显示，M2-CLIP在监督学习中表现优异，同时在零样本场景中保持了强大的泛化能力。

📝 摘要（中文）

近年来，随着大型视觉-语言预训练模型如CLIP的兴起，以及参数高效微调技术（PEFT）的发展，视频动作识别领域受到了广泛关注。然而，现有方法往往在追求强监督性能的同时，牺牲了模型的迁移能力。为了解决这些挑战，本文提出了一种新颖的多模态、多任务CLIP适应框架M2-CLIP，旨在同时保持高监督性能和强迁移能力。通过引入多模态适配器和多任务解码器，实验结果验证了该方法在监督学习中的卓越表现，同时在零样本场景中保持了良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决视频动作识别中现有方法在强监督性能与迁移能力之间的矛盾，现有方法往往在迁移任务中表现不佳。

核心思路：提出M2-CLIP框架，通过设计多模态适配器和多任务解码器，增强模型的各个模态的表示能力，同时保持良好的迁移性能。

技术框架：整体架构包括视觉和文本两个分支，分别引入视觉TED-Adapter和文本编码器适配器，最后通过多任务解码器整合多种监督信号。

关键创新：最重要的创新在于视觉TED-Adapter的设计，它通过全局时间增强和局部时间差建模，显著提升了视觉编码器的时间表示能力。

关键设计：在参数设置上，适配器的设计使得模型在不增加大量参数的情况下，能够有效学习语义标签信息，损失函数则结合了多任务学习的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，M2-CLIP在标准数据集上取得了显著的性能提升，尤其在零样本场景中，模型的泛化能力得到了有效验证，超越了现有基线方法，展示了其在多模态视频理解中的潜力。

🎯 应用场景

该研究的潜在应用领域包括视频监控、体育分析、智能家居等场景，能够有效提升视频理解和动作识别的准确性与效率。未来，该框架有望在多模态学习和迁移学习领域产生更广泛的影响，推动相关技术的发展。

📄 摘要（原文）

Recently, the rise of large-scale vision-language pretrained models like CLIP, coupled with the technology of Parameter-Efficient FineTuning (PEFT), has captured substantial attraction in video action recognition. Nevertheless, prevailing approaches tend to prioritize strong supervised performance at the expense of compromising the models' generalization capabilities during transfer. In this paper, we introduce a novel Multimodal, Multi-task CLIP adapting framework named \name to address these challenges, preserving both high supervised performance and robust transferability. Firstly, to enhance the individual modality architectures, we introduce multimodal adapters to both the visual and text branches. Specifically, we design a novel visual TED-Adapter, that performs global Temporal Enhancement and local temporal Difference modeling to improve the temporal representation capabilities of the visual encoder. Moreover, we adopt text encoder adapters to strengthen the learning of semantic label information. Secondly, we design a multi-task decoder with a rich set of supervisory signals to adeptly satisfy the need for strong supervised performance and generalization within a multimodal framework. Experimental results validate the efficacy of our approach, demonstrating exceptional performance in supervised learning while maintaining strong generalization in zero-shot scenarios.