HiCMAE: Hierarchical Contrastive Masked Autoencoder for Self-Supervised Audio-Visual Emotion Recognition

📄 arXiv: 2401.05698v2 📥 PDF

作者: Licai Sun, Zheng Lian, Bin Liu, Jianhua Tao

分类: cs.CV, cs.HC, cs.MM, cs.SD, eess.AS

发布日期: 2024-01-11 (更新: 2024-04-01)

备注: Accepted by Information Fusion. The code is available at https://github.com/sunlicai/HiCMAE

期刊: Information Fusion, 2024

DOI: 10.1016/j.inffus.2024.102382

🔗 代码/项目: GITHUB

💡 一句话要点

提出HiCMAE以解决音视频情感识别中的数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 音视频情感识别 自监督学习 层次特征学习 对比学习 掩蔽数据建模 多模态学习 深度学习

📋 核心要点

  1. 现有的音视频情感识别方法主要依赖监督学习，面临数据稀缺的挑战，导致性能提升受限。
  2. HiCMAE通过自监督学习框架，结合掩蔽数据建模和对比学习，促进层次特征的学习，提升表示质量。
  3. 在9个数据集上的实验结果显示，HiCMAE在音视频情感识别任务中显著超越了现有的最先进方法。

📝 摘要（中文）

音视频情感识别（AVER）在智能机器情感交互中扮演着重要角色，但由于数据稀缺，传统的监督学习方法面临瓶颈。为此，本文提出了一种新的自监督框架——层次对比掩蔽自编码器（HiCMAE），通过对大规模未标记音视频数据进行自监督预训练，促进AVER的发展。HiCMAE结合了掩蔽数据建模和对比学习两种自监督形式，并通过三重策略促进层次音视频特征学习。实验结果表明，HiCMAE在多个数据集上显著优于现有的监督和自监督方法，展示了其在音视频情感表示学习中的强大能力。

🔬 方法详解

问题定义：音视频情感识别（AVER）面临数据稀缺的问题，传统的监督学习方法难以有效提升性能，急需新的解决方案。

核心思路：HiCMAE通过自监督学习，利用未标记的音视频数据进行大规模预训练，采用掩蔽数据建模和对比学习，促进层次特征的学习。

技术框架：HiCMAE的整体架构包括三个主要模块：掩蔽数据建模模块、对比学习模块和层次特征学习模块，形成一个完整的自监督学习流程。

关键创新：HiCMAE的创新在于其三重策略，强调对中间层的显式指导，克服了现有方法仅关注顶层表示的局限性。

关键设计：在设计中，HiCMAE使用了特定的损失函数来平衡掩蔽建模和对比学习的目标，网络结构上采用了层次化的特征提取方式，以增强模型的表达能力。

🖼️ 关键图片

fig_0

📊 实验亮点

在9个不同的数据集上进行的实验表明，HiCMAE在音视频情感识别任务中显著超越了当前最先进的监督和自监督方法，具体性能提升幅度达到XX%，展示了其在情感表示学习中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括情感智能助手、情感分析系统和人机交互等。通过提高音视频情感识别的准确性，HiCMAE能够为情感感知技术的发展提供强有力的支持，推动智能机器在情感交互中的应用。未来，随着更多未标记数据的利用，HiCMAE有望在更广泛的场景中发挥作用。

📄 摘要（原文）

Audio-Visual Emotion Recognition (AVER) has garnered increasing attention in recent years for its critical role in creating emotion-ware intelligent machines. Previous efforts in this area are dominated by the supervised learning paradigm. Despite significant progress, supervised learning is meeting its bottleneck due to the longstanding data scarcity issue in AVER. Motivated by recent advances in self-supervised learning, we propose Hierarchical Contrastive Masked Autoencoder (HiCMAE), a novel self-supervised framework that leverages large-scale self-supervised pre-training on vast unlabeled audio-visual data to promote the advancement of AVER. Following prior arts in self-supervised audio-visual representation learning, HiCMAE adopts two primary forms of self-supervision for pre-training, namely masked data modeling and contrastive learning. Unlike them which focus exclusively on top-layer representations while neglecting explicit guidance of intermediate layers, HiCMAE develops a three-pronged strategy to foster hierarchical audio-visual feature learning and improve the overall quality of learned representations. To verify the effectiveness of HiCMAE, we conduct extensive experiments on 9 datasets covering both categorical and dimensional AVER tasks. Experimental results show that our method significantly outperforms state-of-the-art supervised and self-supervised audio-visual methods, which indicates that HiCMAE is a powerful audio-visual emotion representation learner. Codes and models will be publicly available at https://github.com/sunlicai/HiCMAE.