Efficient Multiscale Multimodal Bottleneck Transformer for Audio-Video Classification

📄 arXiv: 2401.04023v1 📥 PDF

作者: Wentao Zhu

分类: cs.CV, cs.AI, cs.LG, cs.MM, cs.SD, eess.AS

发布日期: 2024-01-08

备注: Accepted by WACV 2024; well-formatted PDF is in https://drive.google.com/file/d/10Zo_ydJZFAm7YsxHDgTjhyc4dEJbW_dk/view?usp=sharing

💡 一句话要点

提出多尺度多模态瓶颈变换器以解决音视频分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 音视频分类 变换器 对比学习 深度学习

📋 核心要点

  1. 现有方法在处理音视频信号时，常常无法有效融合两种模态，导致动作识别性能不足。
  2. 本文提出的多尺度多模态变换器（MMT）通过分层表示学习，结合音频和视频信号进行有效的跨模态融合。
  3. 实验结果表明，MMT在多个数据集上均显著提升了分类准确率，且在计算效率上也表现优异。

📝 摘要（中文）

近年来，研究者们结合音频和视频信号来应对视觉线索不足的动作识别挑战。然而，如何有效利用这两种模态仍在发展中。本文提出了一种多尺度多模态变换器（MMT），利用分层表示学习。MMT由新颖的多尺度音频变换器（MAT）和多尺度视频变换器组成。为了学习有效的跨模态融合，设计了音频-视频对比损失（AVC）和内模态对比损失（IMC），以稳健地对齐两种模态。MMT在Kinetics-Sounds和VGGSound数据集上分别超越了之前的最先进方法7.3%和2.1%的top-1准确率，且无需外部训练数据。此外，MAT在三个公共基准数据集上显著超越AST，效率提升约3%。

🔬 方法详解

问题定义：本文旨在解决音视频分类中模态融合效果不佳的问题。现有方法在处理复杂动作时，往往无法充分利用音频和视频信息，导致识别性能下降。

核心思路：提出的多尺度多模态变换器（MMT）通过分层表示学习，结合音频变换器（MAT）和视频变换器，旨在实现更有效的跨模态信息融合。设计了音频-视频对比损失（AVC）和内模态对比损失（IMC），以增强模态间的对齐。

技术框架：MMT的整体架构包括多尺度音频变换器和多尺度视频变换器，分别处理音频和视频信号。通过对比损失函数，强化模态间的特征对齐，最终实现分类任务。

关键创新：最重要的创新在于提出了多尺度音频变换器（MAT），其在多个基准数据集上显著超越了现有的音频处理模型AST，且在计算效率上也有明显提升。

关键设计：在损失函数设计上，采用了音频-视频对比损失（AVC）和内模态对比损失（IMC），以确保模态间的稳健对齐。同时，MAT在网络结构上进行了优化，减少了计算复杂度，提高了GPU内存使用效率。

📊 实验亮点

实验结果显示，MMT在Kinetics-Sounds和VGGSound数据集上分别提升了7.3%和2.1%的top-1准确率，且在三个公共基准数据集上，MAT比AST的性能提升幅度达到22.2%、4.4%和4.7%。此外，MMT在计算效率上也表现出色，FLOPs减少约3%，GPU内存使用效率提升9.8%。

🎯 应用场景

该研究的潜在应用领域包括视频监控、智能家居、虚拟现实等场景，能够有效提升多模态信息处理的准确性与效率。未来，该技术有望在实时音视频分析、交互式媒体等领域发挥重要作用，推动相关技术的发展与应用。

📄 摘要（原文）

In recent years, researchers combine both audio and video signals to deal with challenges where actions are not well represented or captured by visual cues. However, how to effectively leverage the two modalities is still under development. In this work, we develop a multiscale multimodal Transformer (MMT) that leverages hierarchical representation learning. Particularly, MMT is composed of a novel multiscale audio Transformer (MAT) and a multiscale video Transformer [43]. To learn a discriminative cross-modality fusion, we further design multimodal supervised contrastive objectives called audio-video contrastive loss (AVC) and intra-modal contrastive loss (IMC) that robustly align the two modalities. MMT surpasses previous state-of-the-art approaches by 7.3% and 2.1% on Kinetics-Sounds and VGGSound in terms of the top-1 accuracy without external training data. Moreover, the proposed MAT significantly outperforms AST [28] by 22.2%, 4.4% and 4.7% on three public benchmark datasets, and is about 3% more efficient based on the number of FLOPs and 9.8% more efficient based on GPU memory usage.