Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification

📄 arXiv: 2401.04154v1 📥 PDF

作者: Wentao Zhu

分类: cs.CV, cs.AI, cs.LG, cs.MM, cs.SD, eess.AS

发布日期: 2024-01-08

备注: Accepted by WACV 2024; well-formatted PDF is in https://drive.google.com/file/d/1qvW52lamsvNGMCqPS7q8g8L4NaR_LlbR/view?usp=sharing. arXiv admin note: text overlap with arXiv:2401.04023

💡 一句话要点

提出音频视频瓶颈变换器以提升多模态分类精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态视频识别 音频视频融合 自监督学习 变换器 深度学习

📋 核心要点

  1. 现有多模态视频识别方法在计算和内存资源上消耗较大，难以高效融合音频与视频信息。
  2. 本文提出音频视频变换器（AVT），通过音频视频瓶颈变换器降低跨模态复杂性，并整合自监督学习目标以提高学习效率。
  3. AVT在Kinetics-Sounds上比现有最优方法提升8%，在VGGSound上提升10%，并在Epic-Kitchens-100上提高3.8%准确率，同时减少1.3% FLOPs。

📝 摘要（中文）

音频和视频是主流媒体平台（如YouTube）中最常见的两种模态。为有效学习多模态视频，本文提出了一种新颖的音频视频识别方法，称为音频视频变换器（AVT），利用视频变换器的时空表示来提高动作识别的准确性。为了减少跨模态复杂性，本文通过音频视频瓶颈变换器来优化多模态融合。我们将自监督目标（如音频视频对比学习、音频视频匹配和掩蔽音频视频学习）整合到AVT训练中，映射多样的音频和视频表示到统一的多模态表示空间。此外，我们提出了一种掩蔽音频段损失，以学习AVT中的语义音频活动。大量实验和消融研究表明，AVT在多个公共数据集上表现优异，尤其在Kinetics-Sounds上超越了现有最优方法8%。

🔬 方法详解

问题定义：本文旨在解决现有多模态视频识别方法在计算和内存资源上的高消耗问题，导致音频与视频信息融合效率低下。

核心思路：提出音频视频变换器（AVT），通过音频视频瓶颈变换器减少跨模态复杂性，并引入自监督学习目标以提升多模态学习效率。

技术框架：AVT的整体架构包括音频视频瓶颈变换器、音频视频对比学习、音频视频匹配和掩蔽音频视频学习等模块，形成一个高效的多模态学习流程。

关键创新：AVT的核心创新在于引入瓶颈变换器结构，显著降低了跨模态融合的复杂性，同时通过掩蔽音频段损失学习语义音频活动，提升了模型的表现。

关键设计：在模型设计中，采用了多种自监督学习目标，结合掩蔽学习策略，优化了损失函数和网络结构，以确保音频和视频表示的有效映射。

📊 实验亮点

AVT在多个数据集上表现出色，特别是在Kinetics-Sounds上超越现有最优方法8%，在VGGSound上提升10%，并在Epic-Kitchens-100上提高3.8%准确率，同时减少1.3% FLOPs，展现出更高的效率与准确性。

🎯 应用场景

该研究在多模态视频理解、智能监控、自动驾驶等领域具有广泛的应用潜力。通过提升音频视频分类的准确性，AVT能够为视频分析、行为识别等任务提供更为可靠的技术支持，推动相关领域的发展。

📄 摘要（原文）

Audio and video are two most common modalities in the mainstream media platforms, e.g., YouTube. To learn from multimodal videos effectively, in this work, we propose a novel audio-video recognition approach termed audio video Transformer, AVT, leveraging the effective spatio-temporal representation by the video Transformer to improve action recognition accuracy. For multimodal fusion, simply concatenating multimodal tokens in a cross-modal Transformer requires large computational and memory resources, instead we reduce the cross-modality complexity through an audio-video bottleneck Transformer. To improve the learning efficiency of multimodal Transformer, we integrate self-supervised objectives, i.e., audio-video contrastive learning, audio-video matching, and masked audio and video learning, into AVT training, which maps diverse audio and video representations into a common multimodal representation space. We further propose a masked audio segment loss to learn semantic audio activities in AVT. Extensive experiments and ablation studies on three public datasets and two in-house datasets consistently demonstrate the effectiveness of the proposed AVT. Specifically, AVT outperforms its previous state-of-the-art counterparts on Kinetics-Sounds by 8%. AVT also surpasses one of the previous state-of-the-art video Transformers [25] by 10% on VGGSound by leveraging the audio signal. Compared to one of the previous state-of-the-art multimodal methods, MBT [32], AVT is 1.3% more efficient in terms of FLOPs and improves the accuracy by 3.8% on Epic-Kitchens-100.