AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations

📄 arXiv: 2407.00743v1 📥 PDF

作者: Sheng Wu, Jiaxing Liu, Longbiao Wang, Dongxiao He, Xiaobao Wang, Jianwu Dang

分类: cs.MM, cs.AI, cs.CL, eess.AS

发布日期: 2024-04-12

💡 一句话要点

提出AIMDiT以解决对话中的情感识别多模态融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 多模态融合 自然语言处理 深度学习 对话系统

📋 核心要点

  1. 现有方法主要关注上下文建模，缺乏有效的多模态融合策略，导致情感识别性能不足。
  2. 本文提出AIMDiT框架，通过模态增强网络和模态交互网络实现深度特征的有效融合。
  3. 在MELD数据集上的实验结果显示，AIMDiT在Acc-7和w-F1指标上分别提升了2.34%和2.87%。

📝 摘要（中文）

情感识别在对话中是自然语言处理中的一个热门任务，旨在识别说话者的情感状态。当前研究主要集中在上下文建模上，而对有效的多模态融合方法的研究相对较少。本文提出了一种新颖的框架AIMDiT，以解决深度特征的多模态融合问题。具体而言，我们设计了一个模态增强网络，通过不同模态的维度转换和参数高效的 inception 模块进行丰富的表示学习。同时，模态交互网络执行提取的跨模态特征和模态内特征的交互融合。在公共基准数据集MELD上的实验表明，AIMDiT在Acc-7和w-F1指标上分别比最先进的模型提高了2.34%和2.87%。

🔬 方法详解

问题定义：本文旨在解决对话中的情感识别任务，现有方法在多模态特征融合方面存在不足，影响了识别的准确性和鲁棒性。

核心思路：AIMDiT框架通过模态增强网络和模态交互网络，分别实现对不同模态的表示学习和特征融合，从而提升情感识别的效果。

技术框架：整体架构包括模态增强网络和模态交互网络。模态增强网络负责通过维度转换和高效的inception模块进行特征提取，而模态交互网络则实现跨模态和模态内特征的融合。

关键创新：最重要的创新在于模态增强网络的设计，通过维度转换实现了不同模态间的丰富表示学习，这在现有方法中尚未得到充分探索。

关键设计：在网络结构上，采用了参数高效的inception模块，确保了模型的计算效率。同时，损失函数设计考虑了多模态特征的交互性，以优化情感识别的性能。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

在MELD数据集上的实验结果显示，AIMDiT框架在Acc-7和w-F1指标上分别比最先进的模型提高了2.34%和2.87%，显示出显著的性能提升，验证了其有效性。

🎯 应用场景

该研究在情感识别、智能客服、社交机器人等领域具有广泛的应用潜力。通过提升对话中的情感理解能力，可以改善人机交互体验，推动情感计算的发展，并为未来的情感智能系统奠定基础。

📄 摘要（原文）

Emotion Recognition in Conversations (ERC) is a popular task in natural language processing, which aims to recognize the emotional state of the speaker in conversations. While current research primarily emphasizes contextual modeling, there exists a dearth of investigation into effective multimodal fusion methods. We propose a novel framework called AIMDiT to solve the problem of multimodal fusion of deep features. Specifically, we design a Modality Augmentation Network which performs rich representation learning through dimension transformation of different modalities and parameter-efficient inception block. On the other hand, the Modality Interaction Network performs interaction fusion of extracted inter-modal features and intra-modal features. Experiments conducted using our AIMDiT framework on the public benchmark dataset MELD reveal 2.34% and 2.87% improvements in terms of the Acc-7 and w-F1 metrics compared to the state-of-the-art (SOTA) models.