Multi-Modal Emotion Recognition by Text, Speech and Video Using Pretrained Transformers

📄 arXiv: 2402.07327v1 📥 PDF

作者: Minoo Shayaninasab, Bagher Babaali

分类: cs.AI

发布日期: 2024-02-11

💡 一句话要点

提出多模态情感识别方法以解决情感识别挑战

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 IEMOCAP 自监督学习 迁移学习 Transformer

📋 核心要点

  1. 情感识别面临的核心问题是现有方法无法有效处理人类情感的复杂性和多样性。
  2. 论文提出通过结合文本、语音和视频三种模态，利用预训练Transformer模型进行特征提取和情感结构识别。
  3. 实验结果显示，采用特征级融合和支持向量机分类的最佳模型在IEMOCAP数据集上达到了75.42%的准确率。

📝 摘要（中文）

由于人类情感的复杂性及其多样化的表现方式，情感识别成为一个具有挑战性的领域。本研究采用文本、音频（语音）和视频三种输入模态生成多模态特征向量。通过微调的预训练Transformer模型为每种模态生成特征，并利用迁移学习提取特征和情感结构。将这些特征融合后，使用分类器进行情感识别。研究中实验了多种特征级和决策级融合技术，最终选择通过连接特征向量进行特征级融合，并在IEMOCAP多模态数据集上使用支持向量机进行分类，取得了75.42%的准确率。

🔬 方法详解

问题定义：本论文旨在解决多模态情感识别中的挑战，尤其是如何有效整合不同模态的信息以提高识别准确率。现有方法往往忽视了模态间的互补信息，导致情感识别效果不佳。

核心思路：论文的核心思路是利用预训练的Transformer模型对文本、语音和视频进行特征提取，并通过融合这些特征来增强情感识别的准确性。通过迁移学习，模型能够更好地捕捉情感的复杂结构。

技术框架：整体架构包括三个主要模块：文本、语音和视频的特征提取模块，特征融合模块，以及情感分类模块。每个模态的特征通过Transformer模型提取后，进行特征级融合，最后使用支持向量机进行分类。

关键创新：本研究的关键创新在于提出了一种有效的特征级融合方法，通过连接不同模态的特征向量，显著提升了情感识别的性能。这种方法与传统的单一模态识别方法有本质区别。

关键设计：在模型设计中，采用了微调的预训练Transformer模型，优化了特征提取过程。损失函数选择了适合多分类任务的交叉熵损失，确保模型在训练过程中能够有效学习到情感特征。

📊 实验亮点

实验结果表明，采用特征级融合和支持向量机分类的模型在IEMOCAP多模态数据集上达到了75.42%的准确率，较传统方法有显著提升。这一结果验证了多模态融合在情感识别中的有效性。

🎯 应用场景

该研究的潜在应用领域包括情感计算、人机交互、社交机器人以及心理健康监测等。通过提高情感识别的准确性，可以更好地理解和响应人类情感，从而提升用户体验和服务质量。未来，该技术有望在智能客服、教育和娱乐等多个领域发挥重要作用。

📄 摘要（原文）

Due to the complex nature of human emotions and the diversity of emotion representation methods in humans, emotion recognition is a challenging field. In this research, three input modalities, namely text, audio (speech), and video, are employed to generate multimodal feature vectors. For generating features for each of these modalities, pre-trained Transformer models with fine-tuning are utilized. In each modality, a Transformer model is used with transfer learning to extract feature and emotional structure. These features are then fused together, and emotion recognition is performed using a classifier. To select an appropriate fusion method and classifier, various feature-level and decision-level fusion techniques have been experimented with, and ultimately, the best model, which combines feature-level fusion by concatenating feature vectors and classification using a Support Vector Machine on the IEMOCAP multimodal dataset, achieves an accuracy of 75.42%. Keywords: Multimodal Emotion Recognition, IEMOCAP, Self-Supervised Learning, Transfer Learning, Transformer.