FROSTER: Frozen CLIP Is A Strong Teacher for Open-Vocabulary Action Recognition

📄 arXiv: 2402.03241v1 📥 PDF

作者: Xiaohu Huang, Hao Zhou, Kun Yao, Kai Han

分类: cs.CV, cs.LG

发布日期: 2024-02-05

备注: Accepted by ICLR 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FROSTER以解决开放词汇动作识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇识别 动作识别 CLIP模型 特征蒸馏 视频理解 深度学习

📋 核心要点

  1. 现有方法在开放词汇动作识别中面临挑战，尤其是CLIP模型缺乏时间信息，导致泛化能力不足。
  2. FROSTER通过残差特征蒸馏方法，利用冻结的CLIP模型作为教师，保持泛化能力并适应动作识别任务。
  3. FROSTER在多个开放词汇动作识别基准测试中表现优异，持续实现了各数据集的最先进性能。

📝 摘要（中文）

本文介绍了FROSTER，一个有效的开放词汇动作识别框架。尽管CLIP模型在图像任务中表现出色，但由于缺乏时间信息，直接应用于动作识别任务存在挑战。此外，针对动作识别数据集对CLIP进行微调可能导致过拟合，影响其泛化能力。为了解决这些问题，FROSTER采用残差特征蒸馏方法，确保CLIP在适应动作识别任务的同时保持其泛化能力。通过将冻结的CLIP模型作为教师，FROSTER监督特征学习以提取视频特定特征，从而弥合图像与视频之间的差距。实验结果表明，FROSTER在开放词汇动作识别基准测试中表现出色，达到了各数据集的最先进性能。

🔬 方法详解

问题定义：本文旨在解决开放词汇动作识别中的泛化能力不足问题，现有CLIP模型由于缺乏时间信息，难以有效处理视频数据。

核心思路：FROSTER的核心思路是通过残差特征蒸馏，利用冻结的CLIP模型作为教师，保持其泛化能力的同时，适应视频特征的提取。

技术框架：FROSTER的整体架构包括两个主要模块：冻结的CLIP教师模型和残差子网络。教师模型负责保持泛化能力，而残差子网络则专注于学习视频特定特征。

关键创新：FROSTER的创新在于将冻结的CLIP模型作为教师进行特征蒸馏，这一设计使得模型能够在保持原有泛化能力的同时，适应新的动作识别任务。

关键设计：在关键设计方面，FROSTER采用了特征蒸馏损失函数，以平衡学习通用特征和视频特定特征的目标，同时优化了网络结构以提高特征提取的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FROSTER在开放词汇动作识别基准测试中表现卓越，所有数据集均达到了最先进的性能，具体而言，在基于基础到新颖的设置下，FROSTER的准确率提升了XX%，在跨数据集设置下的性能也显著优于现有方法。

🎯 应用场景

该研究的潜在应用领域包括智能监控、体育分析和人机交互等场景。通过提升开放词汇动作识别的能力，FROSTER能够在多种实际应用中提供更准确的动作识别服务，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this paper, we introduce FROSTER, an effective framework for open-vocabulary action recognition. The CLIP model has achieved remarkable success in a range of image-based tasks, benefiting from its strong generalization capability stemming from pretaining on massive image-text pairs. However, applying CLIP directly to the open-vocabulary action recognition task is challenging due to the absence of temporal information in CLIP's pretraining. Further, fine-tuning CLIP on action recognition datasets may lead to overfitting and hinder its generalizability, resulting in unsatisfactory results when dealing with unseen actions. To address these issues, FROSTER employs a residual feature distillation approach to ensure that CLIP retains its generalization capability while effectively adapting to the action recognition task. Specifically, the residual feature distillation treats the frozen CLIP model as a teacher to maintain the generalizability exhibited by the original CLIP and supervises the feature learning for the extraction of video-specific features to bridge the gap between images and videos. Meanwhile, it uses a residual sub-network for feature distillation to reach a balance between the two distinct objectives of learning generalizable and video-specific features. We extensively evaluate FROSTER on open-vocabulary action recognition benchmarks under both base-to-novel and cross-dataset settings. FROSTER consistently achieves state-of-the-art performance on all datasets across the board. Project page: https://visual-ai.github.io/froster.