Accommodating Missing Modalities in Time-Continuous Multimodal Emotion Recognition
作者: Juan Vazquez-Rodriguez, Grégoire Lefebvre, Julien Cumin, James L. Crowley
分类: cs.LG, cs.AI, stat.ML
发布日期: 2023-11-16
期刊: Affective Computing and Intelligent Interaction (ACII), Sep 2023, Cambridge (MA), United States
💡 一句话要点
提出基于Transformer的架构以解决多模态情感识别中的缺失模态问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态情感识别 Transformer 交叉注意力 自注意力 模态缺失 情感计算 心理健康监测
📋 核心要点
- 现有的多模态情感识别方法在模态缺失时表现不佳，限制了其在实际应用中的有效性。
- 本文提出了一种基于Transformer的架构，结合交叉注意力和自注意力机制，能够在模态缺失的情况下进行情感识别。
- 实验结果显示，模型在预测唤醒度和愉悦度方面分别提高了37%和30%的性能，相较于传统的后期融合方法具有显著优势。
📝 摘要（中文）
数十年的研究表明，多模态信息融合能有效提升情感识别的准确性。然而，实际应用中某些模态可能会缺失。为了解决这一问题，本文提出了一种新颖的基于Transformer的架构，能够在时间连续的情况下进行情感的愉悦度和唤醒度识别，即使在输入模态缺失的情况下也能有效工作。通过交叉注意力和自注意力机制的结合，强调模态之间的关系，增强对弱显著输入的学习过程。实验结果表明，与传统的后期融合基线方法相比，该模型在预测唤醒值时提高了37%的一致性相关系数，在预测愉悦度值时提高了30%。
🔬 方法详解
问题定义：本文旨在解决多模态情感识别中模态缺失的问题。现有方法在某些模态缺失时，情感识别的准确性显著下降，限制了其应用范围。
核心思路：提出了一种新颖的Transformer架构，通过交叉注意力和自注意力机制的结合，强调模态之间的关系，从而在模态缺失的情况下仍能有效进行情感识别。
技术框架：整体架构包括输入层、交叉注意力模块、自注意力模块和输出层。输入层接收多模态数据，交叉注意力模块用于捕捉模态间的关系，自注意力模块则增强对弱显著输入的学习。
关键创新：最重要的创新在于结合了交叉注意力和自注意力机制，使得模型能够在模态缺失的情况下仍然保持较高的识别性能。这一设计与传统的后期融合方法本质上不同，后者在模态缺失时性能急剧下降。
关键设计：模型的损失函数采用了加权损失策略，以平衡不同模态对最终输出的影响。此外，网络结构中采用了多层Transformer模块，以增强模型的表达能力和学习能力。具体参数设置和超参数调优在实验中进行了详细探讨。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的模型在Ulm-TSST数据集上取得了显著的性能提升。在预测唤醒值时，一致性相关系数提高了37%，而在预测愉悦度值时提高了30%。这些结果相较于传统的后期融合基线方法，表明了模型在处理模态缺失时的有效性和优势。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在情感计算、心理健康监测和人机交互等领域。通过有效处理模态缺失问题，能够提升情感识别系统的鲁棒性和准确性，进而推动智能助手、社交机器人等技术的发展。未来，该方法还可扩展至其他多模态任务，如视频分析和语音识别等。
📄 摘要（原文）
Decades of research indicate that emotion recognition is more effective when drawing information from multiple modalities. But what if some modalities are sometimes missing? To address this problem, we propose a novel Transformer-based architecture for recognizing valence and arousal in a time-continuous manner even with missing input modalities. We use a coupling of cross-attention and self-attention mechanisms to emphasize relationships between modalities during time and enhance the learning process on weak salient inputs. Experimental results on the Ulm-TSST dataset show that our model exhibits an improvement of the concordance correlation coefficient evaluation of 37% when predicting arousal values and 30% when predicting valence values, compared to a late-fusion baseline approach.