UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause

📄 arXiv: 2404.00403v2 📥 PDF

作者: Guimin Hu, Zhihong Zhu, Daniel Hershcovich, Lijie Hu, Hasti Seifi, Jiayuan Xie

分类: cs.CL

发布日期: 2024-03-30 (更新: 2024-10-09)

💡 一句话要点

提出UniMEEC以解决多模态情感识别与情感原因提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 情感原因提取 因果关系 掩码预测 跨模态交互 智能对话系统 情感分析

📋 核心要点

  1. 现有方法将情感识别与情感原因提取视为独立问题，未能充分利用两者之间的因果关系。
  2. 本文提出UniMEEC框架，将MERC与MECPE任务统一为掩码预测问题，利用因果提示模板增强模型的交互能力。
  3. 在四个公共基准数据集上，UniMEEC在MERC与MECPE任务上均取得了显著的性能提升，超越了现有的最先进方法。

📝 摘要（中文）

多模态情感识别（MERC）和情感原因提取（MECPE）在对话系统中受到广泛关注。情感是对特定事件或情境的反应，现有研究将情感识别和情感原因提取视为两个独立问题，忽视了它们之间的因果关系。本文提出了统一的多模态情感识别与情感原因分析框架（UniMEEC），将MERC和MECPE任务重新表述为掩码预测问题，并通过因果提示模板将其统一。UniMEEC通过多模态因果提示探测特定于模态的预训练知识，并在任务导向设置下实现跨任务和跨模态的交互。实验结果表明，UniMEEC在四个公共基准数据集上表现优异，相较于现有最先进方法取得了一致的提升。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别与情感原因提取之间的因果关系问题。现有方法将这两个任务视为独立，导致信息利用不足，无法全面理解情感的来源与表达。

核心思路：UniMEEC框架通过将MERC和MECPE任务重新定义为掩码预测问题，利用因果提示模板来统一处理这两个任务，从而探索情感与其原因之间的内在联系。

技术框架：UniMEEC的整体架构包括输入的多模态数据处理、掩码预测模块和因果提示生成模块。模型通过多模态因果提示来引导学习，确保不同模态之间的信息有效交互。

关键创新：UniMEEC的主要创新在于将情感识别与情感原因提取任务统一为一个框架，利用因果提示实现跨模态和跨任务的交互，这一设计显著提升了模型的表现。

关键设计：模型采用了多模态因果提示，结合了特定模态的预训练知识，损失函数设计上考虑了多任务学习的特点，以确保在不同任务间的有效信息共享。具体的网络结构和参数设置在实验中经过优化，以达到最佳性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在四个公共基准数据集上，UniMEEC在多模态情感识别和情感原因提取任务上均实现了显著提升，具体性能数据表明，相较于现有最先进方法，模型在准确率和召回率上均有超过5%的提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、情感分析工具和人机交互界面等。通过更准确地识别情感及其原因，UniMEEC能够提升用户体验，帮助系统更好地理解和响应用户情感，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multimodal emotion recognition in conversation (MERC) and multimodal emotion-cause pair extraction (MECPE) have recently garnered significant attention. Emotions are the expression of affect or feelings; responses to specific events, or situations -- known as emotion causes. Both collectively explain the causality between human emotion and intents. However, existing works treat emotion recognition and emotion cause extraction as two individual problems, ignoring their natural causality. In this paper, we propose a Unified Multimodal Emotion recognition and Emotion-Cause analysis framework (UniMEEC) to explore the causality between emotion and emotion cause. Concretely, UniMEEC reformulates the MERC and MECPE tasks as mask prediction problems and unifies them with a causal prompt template. To differentiate the modal effects, UniMEEC proposes a multimodal causal prompt to probe the pre-trained knowledge specified to modality and implements cross-task and cross-modality interactions under task-oriented settings. Experiment results on four public benchmark datasets verify the model performance on MERC and MECPE tasks and achieve consistent improvements compared with the previous state-of-the-art methods.