Advancing Human Action Recognition with Foundation Models trained on Unlabeled Public Videos

📄 arXiv: 2402.08875v4 📥 PDF

作者: Yang Qian, Yinan Sun, Ali Kargarandehkordi, Parnian Azizian, Onur Cezmi Mutlu, Saimourya Surabhi, Pingyi Chen, Zain Jabbar, Dennis Paul Wall, Peter Washington

分类: cs.CV

发布日期: 2024-02-14 (更新: 2024-07-15)

备注: 10 pages

💡 一句话要点

利用无标签公共视频推动人类动作识别的进展

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类动作识别 无标签学习 视频理解 自监督学习 基础模型

📋 核心要点

  1. 现有的人类动作识别方法在处理无标签视频数据时面临挑战，尤其是在数据多样性和动态性方面。
  2. 本研究提出了一种基于无标签公共视频的领域特定基础模型，通过VideoMAE V2结合MAE与ViT进行训练。
  3. 实验结果显示，模型在多个标准数据集上取得了领先的性能，尤其是在UCF101上达到了99.05%的准确率。

📝 摘要（中文）

随着在线平台上标记多媒体内容的种类和数量不断增加，推动人类动作识别领域的发展成为可能。本研究利用283,582个独特的无标签TikTok视频片段，按386个标签分类，训练了一个领域特定的基础模型。我们采用了集成了掩码自编码器（MAE）与视觉变换器（ViT）的先进模型VideoMAE V2，并在这一多样化的无结构视频集合上进行预训练。经过在UCF101和HMDB51等已建立的动作识别基准上微调后，我们的模型在UCF101上达到了99.05%的最佳结果，在HMDB51上为86.08%，在Kinetics-400上为85.51%，在Something-Something V2上为74.27%。这些结果突显了使用无结构和无标签视频作为训练基础模型的宝贵来源的潜力。

🔬 方法详解

问题定义：本研究旨在解决现有动作识别方法在无标签视频数据处理中的不足，特别是如何有效利用海量无标签视频进行模型训练。现有方法往往依赖于标记数据，限制了其应用范围和灵活性。

核心思路：论文提出通过使用无标签的公共视频数据集，训练一个领域特定的基础模型，以提高动作识别的准确性和泛化能力。通过VideoMAE V2模型，结合掩码自编码器和视觉变换器的优势，增强了对视频内容的理解。

技术框架：整体架构包括数据收集、模型预训练和微调三个主要阶段。首先，收集大量无标签TikTok视频，随后使用VideoMAE V2进行预训练，最后在标准数据集上进行微调以优化性能。

关键创新：最重要的技术创新在于利用无标签视频数据进行自监督学习，突破了传统依赖标记数据的限制。该方法展示了无标签数据在动作识别中的潜力，尤其是在多样性和动态性方面。

关键设计：模型采用ViT-giant作为骨干网络，使用特定的损失函数来优化动作识别性能。预训练阶段的设计考虑了数据的多样性，以确保模型能够学习到丰富的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在UCF101数据集上达到了99.05%的准确率，在HMDB51上为86.08%，在Kinetics-400上为85.51%，在Something-Something V2上为74.27%。这些结果显著优于现有基线，验证了无标签视频在动作识别中的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能监控、体育分析、虚拟现实和人机交互等领域。通过提高动作识别的准确性，能够为这些领域提供更智能的解决方案，推动相关技术的发展与应用。未来，随着无标签视频数据的进一步普及，该方法有望在更多实际场景中得到应用。

📄 摘要（原文）

The increasing variety and quantity of tagged multimedia content on a variety of online platforms offer a unique opportunity to advance the field of human action recognition. In this study, we utilize 283,582 unique, unlabeled TikTok video clips, categorized into 386 hashtags, to train a domain-specific foundation model for action recognition. We employ VideoMAE V2, an advanced model integrating Masked Autoencoders (MAE) with Vision Transformers (ViT), pre-trained on this diverse collection of unstructured videos. Our model, fine-tuned on established action recognition benchmarks such as UCF101 and HMDB51, achieves state-of-the-art results: 99.05% on UCF101, 86.08% on HMDB51, 85.51% on Kinetics-400, and 74.27% on Something-Something V2 using the ViT-giant backbone. These results highlight the potential of using unstructured and unlabeled videos as a valuable source of diverse and dynamic content for training foundation models. Our investigation confirms that while initial increases in pre-training data volume significantly enhance model performance, the gains diminish as the dataset size continues to expand. Our findings emphasize two critical axioms in self-supervised learning for computer vision: (1) additional pre-training data can yield diminishing benefits for some datasets and (2) quality is more important than quantity in self-supervised learning, especially when building foundation models.