Recursive Joint Cross-Modal Attention for Multimodal Fusion in Dimensional Emotion Recognition

📄 arXiv: 2403.13659v4 📥 PDF

作者: R. Gnana Praveen, Jahangir Alam

分类: cs.CV, cs.SD, eess.AS

发布日期: 2024-03-20 (更新: 2024-04-13)

💡 一句话要点

提出递归联合跨模态注意力以解决多模态情感识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 递归机制 跨模态注意力 时间卷积网络 特征融合 情感计算

📋 核心要点

  1. 现有多模态情感识别方法未能充分利用模态间的协同关系，导致识别性能不足。
  2. 本文提出递归联合跨模态注意力（RJCMA），通过计算模态间的交叉相关性来捕捉内外模态关系。
  3. 在Affwild2数据集上，模型在情感识别任务中取得了显著提升，CCC值分别为0.585和0.674。

📝 摘要（中文）

尽管多模态情感识别在近年来取得了显著进展，但不同模态之间的丰富协同关系尚未得到充分利用。本文提出了递归联合跨模态注意力（RJCMA），有效捕捉音频、视觉和文本模态之间的内在和外在关系。具体而言，我们基于联合音频-视觉-文本特征表示与各个模态特征表示之间的交叉相关性计算注意力权重，从而同时捕捉模态间和模态内的关系。经过多次递归处理后，个别模态的特征被输入到融合模型中，以获得更精炼的特征表示。我们还探索了时间卷积网络（TCNs）以改善个别模态特征表示的时间建模。实验结果表明，所提出的融合模型在Affwild2数据集上取得了显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别中未充分利用模态间协同关系的问题。现有方法往往忽视了音频、视觉和文本模态之间的复杂交互，导致识别效果不佳。

核心思路：论文提出的递归联合跨模态注意力（RJCMA）通过计算模态间的交叉相关性，能够同时捕捉模态内和模态间的关系，从而提升特征表示的质量。

技术框架：整体架构包括特征提取、注意力计算和递归融合三个主要模块。首先从音频、视觉和文本中提取特征，然后计算注意力权重，最后通过递归机制将注意力后的特征输入到融合模型中。

关键创新：最重要的创新在于引入递归机制和跨模态注意力计算，使得模型能够在多次迭代中不断优化特征表示，显著提升了情感识别的准确性。

关键设计：模型采用时间卷积网络（TCNs）来增强时间建模能力，注意力权重的计算基于模态间的交叉相关性，损失函数则针对情感维度进行优化，确保模型在训练过程中能够有效学习。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所提出的融合模型在Affwild2数据集上取得了情感识别的显著提升，验证集和测试集的CCC值分别达到了0.585和0.674，相较于基线的0.240和0.200，提升幅度显著，展示了模型的有效性和优越性。

🎯 应用场景

该研究在情感计算、心理健康监测和人机交互等领域具有广泛的应用潜力。通过更准确的情感识别，能够改善用户体验，推动智能助手和社交机器人等技术的发展，未来可能在教育、娱乐和医疗等多个行业产生深远影响。

📄 摘要（原文）

Though multimodal emotion recognition has achieved significant progress over recent years, the potential of rich synergic relationships across the modalities is not fully exploited. In this paper, we introduce Recursive Joint Cross-Modal Attention (RJCMA) to effectively capture both intra- and inter-modal relationships across audio, visual, and text modalities for dimensional emotion recognition. In particular, we compute the attention weights based on cross-correlation between the joint audio-visual-text feature representations and the feature representations of individual modalities to simultaneously capture intra- and intermodal relationships across the modalities. The attended features of the individual modalities are again fed as input to the fusion model in a recursive mechanism to obtain more refined feature representations. We have also explored Temporal Convolutional Networks (TCNs) to improve the temporal modeling of the feature representations of individual modalities. Extensive experiments are conducted to evaluate the performance of the proposed fusion model on the challenging Affwild2 dataset. By effectively capturing the synergic intra- and inter-modal relationships across audio, visual, and text modalities, the proposed fusion model achieves a Concordance Correlation Coefficient (CCC) of 0.585 (0.542) and 0.674 (0.619) for valence and arousal respectively on the validation set(test set). This shows a significant improvement over the baseline of 0.240 (0.211) and 0.200 (0.191) for valence and arousal, respectively, in the validation set (test set), achieving second place in the valence-arousal challenge of the 6th Affective Behavior Analysis in-the-Wild (ABAW) competition.