VideoMAC: Video Masked Autoencoders Meet ConvNets

📄 arXiv: 2402.19082v1 📥 PDF

作者: Gensheng Pei, Tao Chen, Xiruo Jiang, Huafeng Liu, Zeren Sun, Yazhou Yao

分类: cs.CV

发布日期: 2024-02-29

备注: accepted by IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024

💡 一句话要点

提出VideoMAC以解决视频自监督学习中资源消耗问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频自监督学习 掩码自编码器 卷积网络 视频建模 帧间重建

📋 核心要点

  1. 现有的掩码自编码器方法过于依赖资源密集型的视觉变换器，导致计算效率低下。
  2. 提出VideoMAC，通过结合卷积网络与视频掩码自编码器，采用对称掩码和双编码器架构，提升视频建模效果。
  3. 实验结果表明，VideoMAC在视频目标分割、身体部位传播和人体姿态跟踪等任务上显著优于ViT方法，提升幅度达到10.2%。

📝 摘要（中文）

近年来，自监督学习技术的进步，如掩码自编码器（MAE），对图像和视频的视觉表征学习产生了重大影响。然而，现有的掩码图像/视频建模方法过于依赖资源密集型的视觉变换器（ViTs）作为特征编码器。本文提出了一种新方法VideoMAC，结合了视频掩码自编码器与资源友好的卷积网络（ConvNets）。具体而言，VideoMAC对随机采样的视频帧对进行对称掩码。为了解决掩码模式消散的问题，我们采用了稀疏卷积算子的卷积网络作为编码器。同时，我们提出了一种简单而有效的掩码视频建模（MVM）方法，采用在线编码器和指数移动平均目标编码器的双编码器架构，以促进视频中的帧间重建一致性。此外，我们展示了VideoMAC在下游任务中优于基于ViT的方法，包括视频目标分割、身体部位传播和人体姿态跟踪等。

🔬 方法详解

问题定义：现有的掩码自编码器方法在视频建模中依赖于资源密集型的视觉变换器，导致计算效率低且资源消耗高。

核心思路：本文提出VideoMAC，通过结合卷积网络与视频掩码自编码器，采用对称掩码策略和双编码器架构，以提高视频帧间的重建一致性和模型效率。

技术框架：VideoMAC的整体架构包括两个主要模块：在线编码器和目标编码器，后者使用指数移动平均策略来增强模型的稳定性和一致性。

关键创新：VideoMAC的核心创新在于使用稀疏卷积算子作为编码器，解决了掩码模式消散的问题，同时提升了模型在视频任务中的表现。

关键设计：在设计中，采用了对称掩码策略，确保了视频帧对的有效利用，同时在损失函数中引入了重建一致性损失，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VideoMAC在视频目标分割任务上提升了5.2%和6.4%的$ ext{J} ext{F}$，在身体部位传播任务上提升了6.3%和3.1%的mIoU，在人体姿态跟踪任务上提升了10.2%和11.1%的PCK@0.1，显著优于基于ViT的方法。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、虚拟现实等场景，能够有效提升视频分析任务的性能和效率。未来，VideoMAC有望在更多视频理解和处理任务中发挥重要作用，推动相关领域的发展。

📄 摘要（原文）

Recently, the advancement of self-supervised learning techniques, like masked autoencoders (MAE), has greatly influenced visual representation learning for images and videos. Nevertheless, it is worth noting that the predominant approaches in existing masked image / video modeling rely excessively on resource-intensive vision transformers (ViTs) as the feature encoder. In this paper, we propose a new approach termed as \textbf{VideoMAC}, which combines video masked autoencoders with resource-friendly ConvNets. Specifically, VideoMAC employs symmetric masking on randomly sampled pairs of video frames. To prevent the issue of mask pattern dissipation, we utilize ConvNets which are implemented with sparse convolutional operators as encoders. Simultaneously, we present a simple yet effective masked video modeling (MVM) approach, a dual encoder architecture comprising an online encoder and an exponential moving average target encoder, aimed to facilitate inter-frame reconstruction consistency in videos. Additionally, we demonstrate that VideoMAC, empowering classical (ResNet) / modern (ConvNeXt) convolutional encoders to harness the benefits of MVM, outperforms ViT-based approaches on downstream tasks, including video object segmentation (+\textbf{5.2\%} / \textbf{6.4\%} $\mathcal{J}\&\mathcal{F}$), body part propagation (+\textbf{6.3\%} / \textbf{3.1\%} mIoU), and human pose tracking (+\textbf{10.2\%} / \textbf{11.1\%} PCK@0.1).