Dynamic Modality and View Selection for Multimodal Emotion Recognition with Missing Modalities

📄 arXiv: 2404.12251v1 📥 PDF

作者: Luciana Trinkaus Menon, Luiz Carlos Ribeiro Neduziak, Jean Paul Barddal, Alessandro Lameiras Koerich, Alceu de Souza Britto

分类: cs.LG, cs.CV, cs.SD, eess.AS

发布日期: 2024-04-18

备注: 15 pages

💡 一句话要点

提出动态模态与视图选择以解决多模态情感识别中的缺失模态问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 动态模态选择 交叉注意力机制 情感计算 鲁棒性 机器学习 音频视频融合

📋 核心要点

  1. 现有多模态情感识别方法在处理缺失模态时表现不佳，影响情感预测的准确性。
  2. 本文提出了一种动态模态和视图选择策略，结合交叉注意力机制，以提高缺失模态情况下的情感识别能力。
  3. 实验结果显示，动态选择方法在RECOLA数据集上显著优于传统基线，展示了其在缺失模态场景中的有效性。

📝 摘要（中文）

人类情感的研究在心理学和神经科学领域具有重要意义，人工智能的出现深刻影响了这一领域。多通道（如语音和面部表情）在理解人类情感中至关重要。然而，现有多模态情感识别（MER）技术面临诸多挑战，尤其是在缺失某一模态的情况下。本文集中评估了两种策略在缺失模态时的表现：一种新颖的动态模态和视图选择方法，以及交叉注意力机制。RECOLA数据集的结果表明，基于动态选择的方法在缺失模态的场景中优于基线，展示了音频和视频模态在情感预测中的复杂互动，以及动态选择方法在处理缺失模态时的适应性。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别中缺失模态带来的挑战。现有方法在缺失某一模态时，情感识别的准确性显著下降，无法有效利用可用的其他模态信息。

核心思路：论文提出了一种动态模态和视图选择的方法，通过灵活选择可用模态，结合交叉注意力机制，增强模型在缺失模态情况下的鲁棒性和适应性。

技术框架：整体架构包括数据预处理、模态选择模块和情感识别模块。模态选择模块根据当前可用模态动态调整输入，情感识别模块则基于选择的模态进行情感分类。

关键创新：最重要的创新在于动态模态选择策略的引入，使得模型能够在缺失模态的情况下仍然保持较高的识别性能。这一方法与传统静态模态融合方法有本质区别，后者无法适应模态缺失的情况。

关键设计：在模型设计中，采用了交叉注意力机制以增强模态间的信息交互，损失函数则结合了多模态信息的权重调整，确保在缺失模态时仍能有效利用其他模态的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于动态选择的方法在缺失模态的情况下，所有动态选择方法均优于基线，展示了显著的性能提升。具体而言，动态选择方法在RECOLA数据集上的表现超出了传统方法，证明了其在实际应用中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在情感计算、心理健康监测和人机交互等领域。通过提高多模态情感识别的鲁棒性，能够更好地理解和响应人类情感，推动智能系统的情感智能化发展。

📄 摘要（原文）

The study of human emotions, traditionally a cornerstone in fields like psychology and neuroscience, has been profoundly impacted by the advent of artificial intelligence (AI). Multiple channels, such as speech (voice) and facial expressions (image), are crucial in understanding human emotions. However, AI's journey in multimodal emotion recognition (MER) is marked by substantial technical challenges. One significant hurdle is how AI models manage the absence of a particular modality - a frequent occurrence in real-world situations. This study's central focus is assessing the performance and resilience of two strategies when confronted with the lack of one modality: a novel multimodal dynamic modality and view selection and a cross-attention mechanism. Results on the RECOLA dataset show that dynamic selection-based methods are a promising approach for MER. In the missing modalities scenarios, all dynamic selection-based methods outperformed the baseline. The study concludes by emphasizing the intricate interplay between audio and video modalities in emotion prediction, showcasing the adaptability of dynamic selection methods in handling missing modalities.