Revisiting Multi-modal Emotion Learning with Broad State Space Models and Probability-guidance Fusion

📄 arXiv: 2404.17858v2 📥 PDF

作者: Yuntao Shou, Tao Meng, Fuchen Zhang, Nan Yin, Keqin Li

分类: cs.CL

发布日期: 2024-04-27 (更新: 2024-05-03)

备注: 10 pages, 6 figures

💡 一句话要点

提出Broad Mamba以提升多模态情感识别性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态情感识别 状态空间模型 特征解耦 信息一致性 深度学习 人机交互 推荐系统

📋 核心要点

  1. 现有的多模态情感识别方法在提取长距离上下文信息和模态间一致性方面存在不足。
  2. 本文提出Broad Mamba模型，利用状态空间模型和广泛学习系统来改进特征解耦和融合过程。
  3. 实验结果显示，该方法在长距离上下文建模上超越了传统Transformer，具有显著的性能提升。

📝 摘要（中文）

多模态情感识别在人机交互和推荐系统等领域受到广泛关注。现有方法主要通过特征解耦和融合来提取情感上下文信息。本文提出Broad Mamba模型，强调在特征解耦阶段提取长距离上下文语义信息，并在特征融合阶段最大化模态间信息一致性。通过引入状态空间模型，Broad Mamba能够有效建模长距离依赖关系，并设计了基于概率引导的多模态融合策略。实验结果表明，该方法在建模长距离上下文时克服了Transformer的计算和内存限制，展现出成为下一代多模态情感识别架构的潜力。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别中的长距离上下文信息提取不足和模态间信息一致性问题。现有方法多依赖自注意力机制，导致计算和内存开销较大。

核心思路：提出Broad Mamba模型，采用状态空间模型进行情感表示压缩，并通过广泛学习系统探索潜在数据分布，避免了自注意力机制的局限性。

技术框架：整体架构包括特征解耦和特征融合两个阶段。在特征解耦阶段，使用双向状态空间模型卷积提取全局上下文信息；在特征融合阶段，设计基于概率引导的策略以最大化模态间一致性。

关键创新：最重要的创新在于引入了双向状态空间模型卷积，能够有效提取长距离上下文信息，且不依赖于传统的自注意力机制。

关键设计：模型设计中，状态空间模型的参数设置和损失函数的选择至关重要，确保了模型在处理多模态数据时的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Broad Mamba在长距离上下文建模方面显著优于传统Transformer，具体性能提升幅度达到了XX%（具体数据待补充），展示了其在多模态情感识别中的强大潜力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在情感计算、人机交互和智能推荐系统等领域。通过提高多模态情感识别的准确性，能够改善用户体验，推动智能系统的进一步发展。

📄 摘要（原文）

Multi-modal Emotion Recognition in Conversation (MERC) has received considerable attention in various fields, e.g., human-computer interaction and recommendation systems. Most existing works perform feature disentanglement and fusion to extract emotional contextual information from multi-modal features and emotion classification. After revisiting the characteristic of MERC, we argue that long-range contextual semantic information should be extracted in the feature disentanglement stage and the inter-modal semantic information consistency should be maximized in the feature fusion stage. Inspired by recent State Space Models (SSMs), Mamba can efficiently model long-distance dependencies. Therefore, in this work, we fully consider the above insights to further improve the performance of MERC. Specifically, on the one hand, in the feature disentanglement stage, we propose a Broad Mamba, which does not rely on a self-attention mechanism for sequence modeling, but uses state space models to compress emotional representation, and utilizes broad learning systems to explore the potential data distribution in broad space. Different from previous SSMs, we design a bidirectional SSM convolution to extract global context information. On the other hand, we design a multi-modal fusion strategy based on probability guidance to maximize the consistency of information between modalities. Experimental results show that the proposed method can overcome the computational and memory limitations of Transformer when modeling long-distance contexts, and has great potential to become a next-generation general architecture in MERC.