JMI at SemEval 2024 Task 3: Two-step approach for multimodal ECAC using in-context learning with GPT and instruction-tuned Llama models

📄 arXiv: 2403.04798v2 📥 PDF

作者: Arefa, Mohammed Abbas Ansari, Chandni Saxena, Tanvir Ahmad

分类: cs.CL, cs.LG

发布日期: 2024-03-05 (更新: 2024-04-02)

备注: Paper Accepted at SemEval 2024

💡 一句话要点

提出两步法以解决多模态情感原因分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 情感原因分析 指令调优 上下文学习 Llama 2 GPT-4V 对话分析

📋 核心要点

  1. 现有方法在多模态情感原因分析中面临整合不同模态的复杂性和效率问题。
  2. 提出的两步框架通过指令调优和上下文学习，分别利用Llama 2和GPT模型进行情感和原因预测。
  3. 实验结果显示，系统获得第四名，消融实验验证了所提方案的显著性能提升。

📝 摘要（中文）

本文介绍了我们在SemEval-2024任务3中的系统开发，该任务旨在分析对话中的多模态情感原因。有效捕捉人类对话中的情感需要整合文本、音频和视频等多种模态。然而，这些多样化模态的复杂性给开发高效的多模态情感原因分析（ECA）系统带来了挑战。我们提出的两步框架通过两种不同的方法来解决这些挑战。第一种方法采用指令调优的Llama 2模型进行情感和原因预测，第二种方法则使用GPT-4V进行对话级视频描述，并利用GPT 3.5进行带注释对话的上下文学习。我们的系统获得了第四名，消融实验表明所提方案显著提升了性能，所有实验代码已在Github上公开。

🔬 方法详解

问题定义：本文旨在解决多模态情感原因分析中的模态整合复杂性和效率低下的问题。现有方法往往无法有效处理文本、音频和视频等多种模态的信息。

核心思路：我们提出的两步法框架通过分别利用Llama 2模型和GPT模型，针对情感和原因进行独立预测，从而提高分析的准确性和效率。

技术框架：整体架构分为两个主要阶段：第一阶段使用Llama 2模型进行情感和原因的指令调优，第二阶段利用GPT-4V进行视频描述，并通过GPT 3.5进行上下文学习。

关键创新：最重要的创新在于将指令调优与上下文学习相结合，形成了一个高效的多模态分析框架，显著提升了情感原因分析的性能。

关键设计：在模型训练中，我们采用了特定的损失函数和参数设置，以优化情感和原因的预测效果，同时确保模型在多模态数据上的适应性。通过消融实验验证了各模块的贡献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，我们的系统获得了第四名的优异成绩，消融实验表明所提方案在情感和原因预测上相较于基线模型有显著提升，具体性能数据未详细披露，但提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括情感分析、客户服务、社交媒体监测等。通过有效分析对话中的情感原因，可以帮助企业更好地理解用户需求，提升用户体验。未来，该方法也可扩展到其他多模态分析任务中，具有广泛的实际价值和影响。

📄 摘要（原文）

This paper presents our system development for SemEval-2024 Task 3: "The Competition of Multimodal Emotion Cause Analysis in Conversations". Effectively capturing emotions in human conversations requires integrating multiple modalities such as text, audio, and video. However, the complexities of these diverse modalities pose challenges for developing an efficient multimodal emotion cause analysis (ECA) system. Our proposed approach addresses these challenges by a two-step framework. We adopt two different approaches in our implementation. In Approach 1, we employ instruction-tuning with two separate Llama 2 models for emotion and cause prediction. In Approach 2, we use GPT-4V for conversation-level video description and employ in-context learning with annotated conversation using GPT 3.5. Our system wins rank 4, and system ablation experiments demonstrate that our proposed solutions achieve significant performance gains. All the experimental codes are available on Github.