Joyful: Joint Modality Fusion and Graph Contrastive Learning for Multimodal Emotion Recognition
作者: Dongyuan Li, Yusong Wang, Kotaro Funakoshi, Manabu Okumura
分类: cs.CL
发布日期: 2023-11-18
💡 一句话要点
提出Joyful以解决多模态情感识别中的特征融合问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态情感识别 图对比学习 模态融合 深度学习 人机交互
📋 核心要点
- 现有的图基方法无法有效结合全局上下文特征与局部单模态特征，导致情感识别性能不足。
- 本文提出的Joyful方法通过联合模态融合和图对比学习，优化了多模态情感识别的过程。
- 在三个基准数据集上的实验结果显示，Joyful在情感识别任务上超越了所有基线，达到了最先进的性能。
📝 摘要（中文）
多模态情感识别旨在识别多种模态下每个话语的情感，近年来在人与机器交互中受到越来越多的关注。目前的图基方法无法同时描绘对话中的全局上下文特征和局部多样的单模态特征。此外，随着图层数的增加，它们容易陷入过平滑的问题。本文提出了一种联合模态融合和图对比学习的方法Joyful，其中模态融合、对比学习和情感识别被联合优化。具体而言，我们首先设计了一种新的多模态融合机制，可以在全局上下文和单模态特征之间提供深度交互和融合。然后，我们引入了一个图对比学习框架，通过视间和视内对比损失来学习更具区分性的情感样本表示。大量在三个基准数据集上的实验表明，Joyful在所有基线方法中实现了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决多模态情感识别中的特征融合问题，现有方法在处理全局上下文与局部特征时存在不足，且容易出现过平滑现象。
核心思路：提出的Joyful方法通过设计新的多模态融合机制，增强全局上下文特征与单模态特征之间的深度交互，同时引入图对比学习框架以提高样本表示的区分性。
技术框架：整体架构包括三个主要模块：多模态融合模块、图对比学习模块和情感识别模块。多模态融合模块负责特征的深度交互，图对比学习模块通过对比损失优化样本表示，情感识别模块最终输出情感分类结果。
关键创新：最重要的创新在于设计了一种新的多模态融合机制和图对比学习框架，能够有效结合全局和局部特征，克服了现有方法的局限性。
关键设计：在损失函数设计上，采用了视间和视内对比损失，以增强样本间的区分性；网络结构上，结合了多层图卷积网络以处理多模态数据的复杂性。
🖼️ 关键图片
📊 实验亮点
在三个基准数据集上的实验结果表明，Joyful方法在情感识别任务中达到了最先进的性能，相较于所有基线方法，性能提升显著，具体提升幅度未知。
🎯 应用场景
该研究在情感识别、智能客服、社交机器人等领域具有广泛的应用潜力。通过提高情感识别的准确性，能够增强人机交互的自然性和有效性，推动相关技术的进一步发展与应用。
📄 摘要（原文）
Multimodal emotion recognition aims to recognize emotions for each utterance of multiple modalities, which has received increasing attention for its application in human-machine interaction. Current graph-based methods fail to simultaneously depict global contextual features and local diverse uni-modal features in a dialogue. Furthermore, with the number of graph layers increasing, they easily fall into over-smoothing. In this paper, we propose a method for joint modality fusion and graph contrastive learning for multimodal emotion recognition (Joyful), where multimodality fusion, contrastive learning, and emotion recognition are jointly optimized. Specifically, we first design a new multimodal fusion mechanism that can provide deep interaction and fusion between the global contextual and uni-modal specific features. Then, we introduce a graph contrastive learning framework with inter-view and intra-view contrastive losses to learn more distinguishable representations for samples with different sentiments. Extensive experiments on three benchmark datasets indicate that Joyful achieved state-of-the-art (SOTA) performance compared to all baselines.