Solution for Emotion Prediction Competition of Workshop on Emotionally and Culturally Intelligent AI

📄 arXiv: 2403.17683v2 📥 PDF

作者: Shengdong Xu, Zhouyang Chi, Yang Yang

分类: cs.AI

发布日期: 2024-03-26 (更新: 2024-03-31)

💡 一句话要点

提出单一多模态与情感文化特定提示以解决情感预测问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感预测 多模态学习 文化智能 机器学习 数据集ArtELingo

📋 核心要点

  1. 现有方法在情感预测中面临模态不平衡和语言文化差异的挑战，影响了模型的准确性和泛化能力。
  2. 我们提出的单一多模态与情感文化特定提示（ECSP）方法，通过单一模态信息增强多模态模型性能，并设计特定提示以减轻文化差异。
  3. 我们的方案在最终测试中取得了0.627的得分，成功排名第一，显示出显著的性能提升。

📝 摘要（中文）

本报告详细描述了我们在WECIA情感预测竞赛中探索和提出的方法，该方法通过艺术作品及其评论预测个人情感。竞赛数据集ArtELingo旨在鼓励跨语言和文化的多样性研究，面临模态不平衡和语言文化差异两个主要挑战。为了解决这些问题，我们提出了一种简单而有效的方法——单一多模态与情感文化特定提示（ECSP），旨在利用单一模态信息提升多模态模型的性能，并通过精心设计的提示减少文化差异问题。我们的方案在最终测试中以0.627的得分排名第一。

🔬 方法详解

问题定义：本研究旨在解决通过艺术作品及其评论进行情感预测时的模态不平衡和语言文化差异问题。现有方法在处理多模态数据时，往往无法有效整合不同模态的信息，导致预测性能下降。

核心思路：我们提出的单一多模态与情感文化特定提示（ECSP）方法，利用单一模态信息来提升多模态模型的表现，同时通过设计特定的提示来缓解文化差异的影响。这种设计旨在充分挖掘单一模态的潜力，并增强模型的适应性。

技术框架：我们的整体架构包含两个主要模块：首先是基于XLM-R的单模态模型，其次是基于X²-VLM的多模态模型。此外，我们还设计了情感文化特定提示，以增强模型的情感识别能力。

关键创新：本研究的主要创新在于提出了情感文化特定提示（ECSP），该提示能够有效减少文化差异对情感预测的影响。这一方法与传统的多模态融合方法相比，提供了更为灵活和高效的解决方案。

关键设计：在模型设计中，我们采用了XLM-R作为单模态模型的基础，并结合X²-VLM作为多模态模型。损失函数的设计考虑了模态间的平衡性，以确保模型在不同模态下的表现一致性。

📊 实验亮点

在最终测试中，我们的方法以0.627的得分排名第一，显示出显著的性能提升。与基线模型相比，我们的方案在处理模态不平衡和文化差异方面表现出更强的适应性，验证了ECSP的有效性。

🎯 应用场景

该研究的潜在应用领域包括情感分析、文化适应性AI和跨文化交流等。通过提升情感预测的准确性，该方法可以在社交媒体分析、客户反馈处理和文化产品推荐等实际场景中发挥重要作用，推动情感智能系统的发展。

📄 摘要（原文）

This report provide a detailed description of the method that we explored and proposed in the WECIA Emotion Prediction Competition (EPC), which predicts a person's emotion through an artistic work with a comment. The dataset of this competition is ArtELingo, designed to encourage work on diversity across languages and cultures. The dataset has two main challenges, namely modal imbalance problem and language-cultural differences problem. In order to address this issue, we propose a simple yet effective approach called single-multi modal with Emotion-Cultural specific prompt(ECSP), which focuses on using the single modal message to enhance the performance of multimodal models and a well-designed prompt to reduce cultural differences problem. To clarify, our approach contains two main blocks: (1)XLM-R\cite{conneau2019unsupervised} based unimodal model and X$^2$-VLM\cite{zeng2022x} based multimodal model (2) Emotion-Cultural specific prompt. Our approach ranked first in the final test with a score of 0.627.