EmoLLMs: A Series of Emotional Large Language Models and Annotation Tools for Comprehensive Affective Analysis

📄 arXiv: 2401.08508v2 📥 PDF

作者: Zhiwei Liu, Kailai Yang, Tianlin Zhang, Qianqian Xie, Sophia Ananiadou

分类: cs.CL

发布日期: 2024-01-16 (更新: 2024-06-18)

备注: Accepted by KDD 2024

DOI: 10.1145/3637528.3671552

💡 一句话要点

提出EmoLLMs以解决情感分析任务的多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 大规模语言模型 指令调优 多任务学习 情感评估

📋 核心要点

  1. 现有情感分析模型仅关注情感分类的单一方面，忽视了情感强度等回归任务，导致下游任务性能不足。
  2. 本文提出EmoLLMs，通过对多种LLMs进行指令调优，结合多任务情感分析指令数据集（AAID）和情感评估基准（AEB），实现全面情感分析。
  3. 实验结果显示，EmoLLMs在AEB上超越了所有其他开放源代码的LLMs，并在大多数任务中超过了ChatGPT和GPT-4，展现出强大的泛化能力。

📝 摘要（中文）

情感分析和情绪检测是自然语言处理（NLP）中的重要研究领域，对许多下游任务具有重要意义。随着大规模语言模型（LLMs）的广泛应用，研究者们开始探索基于指令调优的LLMs在情感分析中的应用。然而，现有模型仅关注情感分类任务的单一方面，忽视了回归任务，导致下游任务表现不佳。为此，本文提出了EmoLLMs系列开放源代码的指令跟随LLMs，配合首个多任务情感分析指令数据集（AAID）和全面的情感评估基准（AEB），以支持情感分析任务的综合性研究。实验结果表明，EmoLLMs在多项任务中超越了其他开放源代码的LLMs，展现出与ChatGPT和GPT-4相当的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有情感分析模型在情感分类和回归任务上的不足，尤其是缺乏全面的情感指令调优数据集和评估基准。

核心思路：通过构建EmoLLMs系列模型，结合多任务情感分析指令数据集（AAID）和情感评估基准（AEB），实现对情感分析任务的全面支持，提升模型的泛化能力。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。首先，构建AAID数据集以支持多种情感分类和回归任务；其次，基于该数据集对LLMs进行指令调优；最后，使用AEB评估模型性能。

关键创新：最重要的创新在于首次提出了多任务情感分析指令数据集（AAID）和全面的情感评估基准（AEB），这为情感分析领域提供了新的研究工具和标准。

关键设计：在模型训练中，采用了针对情感分类和回归任务的特定损失函数，并对网络结构进行了优化，以增强模型在情感分析任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EmoLLMs在AEB基准上超越了所有其他开放源代码的LLMs，尤其在多项任务中表现优异，部分任务的性能超过了ChatGPT和GPT-4，显示出显著的提升幅度，证明了其强大的泛化能力。

🎯 应用场景

EmoLLMs在情感分析领域具有广泛的应用潜力，能够为社交媒体监测、客户反馈分析、情感驱动的推荐系统等提供支持。其高质量的情感注释工具也将促进相关研究的发展，推动情感计算的实际应用。

📄 摘要（原文）

Sentiment analysis and emotion detection are important research topics in natural language processing (NLP) and benefit many downstream tasks. With the widespread application of LLMs, researchers have started exploring the application of LLMs based on instruction-tuning in the field of sentiment analysis. However, these models only focus on single aspects of affective classification tasks (e.g. sentimental polarity or categorical emotions), and overlook the regression tasks (e.g. sentiment strength or emotion intensity), which leads to poor performance in downstream tasks. The main reason is the lack of comprehensive affective instruction tuning datasets and evaluation benchmarks, which cover various affective classification and regression tasks. Moreover, although emotional information is useful for downstream tasks, existing downstream datasets lack high-quality and comprehensive affective annotations. In this paper, we propose EmoLLMs, the first series of open-sourced instruction-following LLMs for comprehensive affective analysis based on fine-tuning various LLMs with instruction data, the first multi-task affective analysis instruction dataset (AAID) with 234K data samples based on various classification and regression tasks to support LLM instruction tuning, and a comprehensive affective evaluation benchmark (AEB) with 14 tasks from various sources and domains to test the generalization ability of LLMs. We propose a series of EmoLLMs by fine-tuning LLMs with AAID to solve various affective instruction tasks. We compare our model with a variety of LLMs on AEB, where our models outperform all other open-sourced LLMs, and surpass ChatGPT and GPT-4 in most tasks, which shows that the series of EmoLLMs achieve the ChatGPT-level and GPT-4-level generalization capabilities on affective analysis tasks, and demonstrates our models can be used as affective annotation tools.