MultiMAE-DER: Multimodal Masked Autoencoder for Dynamic Emotion Recognition

📄 arXiv: 2404.18327v2 📥 PDF

作者: Peihao Xiang, Chaohao Lin, Kaida Wu, Ou Bai

分类: cs.CV

发布日期: 2024-04-28 (更新: 2024-05-16)

备注: Camera-ready Version, Accepted by ICPRS 2024

DOI: 10.1109/ICPRS62101.2024.10677820

💡 一句话要点

提出MultiMAE-DER以解决动态情感识别中的多模态数据处理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态情感识别 多模态数据 掩码自编码器 特征融合 时空序列 自监督学习 加权平均召回率

📋 核心要点

  1. 现有动态情感识别方法在处理多模态数据时，往往未能充分利用视觉和音频模态之间的相关性。
  2. MultiMAE-DER通过预训练的掩码自编码器模型，结合六种优化的融合策略，有效提升了多模态输入序列的动态特征提取能力。
  3. 实验结果表明，MultiMAE-DER在多个数据集上均显著提升了加权平均召回率，展示了其在动态情感识别中的有效性。

📝 摘要（中文）

本文提出了一种新颖的方法，称为多模态掩码自编码器（MultiMAE-DER），用于动态情感识别。该方法利用视觉和音频模态之间在时空序列中的紧密相关表示信息。通过利用预训练的掩码自编码器模型，MultiMAE-DER通过简单的微调实现。此外，论文优化了六种多模态输入序列的融合策略，以解决跨域数据在空间、时间和时空序列中的动态特征相关性。与现有的动态情感识别的最先进多模态监督学习模型相比，MultiMAE-DER在RAVDESS数据集上提高了4.41%的加权平均召回率（WAR），在CREMAD数据集上提高了2.06%。与最先进的多模态自监督学习模型相比，MultiMAE-DER在IEMOCAP数据集上实现了1.86%的WAR提升。

🔬 方法详解

问题定义：本文旨在解决动态情感识别中的多模态数据处理问题，现有方法未能充分利用不同模态间的相关信息，导致识别效果不佳。

核心思路：MultiMAE-DER通过引入多模态掩码自编码器，利用视觉和音频模态的时空序列特征，进行有效的特征融合和动态情感识别。

技术框架：该方法的整体架构包括预训练的掩码自编码器、六种优化的融合策略以及微调阶段。首先，使用预训练模型提取特征，然后通过不同的融合策略整合多模态信息，最后进行微调以适应特定任务。

关键创新：MultiMAE-DER的主要创新在于其六种融合策略，能够有效捕捉跨域数据的动态特征相关性，这一设计显著提升了识别性能。

关键设计：在模型设计中，采用了特定的损失函数以优化多模态特征的融合效果，并在网络结构中引入了适应性参数设置，以提高模型的灵活性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MultiMAE-DER在RAVDESS数据集上提高了4.41%的加权平均召回率，在CREMAD数据集上提高了2.06%。此外，与最先进的多模态自监督学习模型相比，MultiMAE-DER在IEMOCAP数据集上实现了1.86%的WAR提升，证明了其优越的性能。

🎯 应用场景

该研究在动态情感识别领域具有广泛的应用潜力，尤其是在情感分析、智能客服、社交媒体监测等场景中。通过提升情感识别的准确性，MultiMAE-DER能够为人机交互、情感计算等领域提供更为精准的支持，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

This paper presents a novel approach to processing multimodal data for dynamic emotion recognition, named as the Multimodal Masked Autoencoder for Dynamic Emotion Recognition (MultiMAE-DER). The MultiMAE-DER leverages the closely correlated representation information within spatiotemporal sequences across visual and audio modalities. By utilizing a pre-trained masked autoencoder model, the MultiMAEDER is accomplished through simple, straightforward finetuning. The performance of the MultiMAE-DER is enhanced by optimizing six fusion strategies for multimodal input sequences. These strategies address dynamic feature correlations within cross-domain data across spatial, temporal, and spatiotemporal sequences. In comparison to state-of-the-art multimodal supervised learning models for dynamic emotion recognition, MultiMAE-DER enhances the weighted average recall (WAR) by 4.41% on the RAVDESS dataset and by 2.06% on the CREMAD. Furthermore, when compared with the state-of-the-art model of multimodal self-supervised learning, MultiMAE-DER achieves a 1.86% higher WAR on the IEMOCAP dataset.