Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion

📄 arXiv: 2311.09602v2 📥 PDF

作者: Smriti Singh, Cornelia Caragea, Junyi Jessy Li

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-03-25)

备注: NAACL 2024 Camera Ready

💡 一句话要点

提出EmoTrigger数据集以评估情感预测模型对情感触发因素的考虑

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感检测 情感触发因素 大型语言模型 数据集构建 社交媒体分析

📋 核心要点

  1. 现有的情感检测模型在情感触发因素的考虑上存在不足，未能充分利用人类情感触发的相关信息。
  2. 本研究提出EmoTrigger数据集，通过专家标注的情感触发因素，评估大型语言模型在情感预测中的表现。
  3. 实验结果表明，情感触发因素并未被模型视为重要特征，反而是多种特征之间的复杂关系影响了情感检测的效果。

📝 摘要（中文）

情境和事件在人类中引发情感，但这些因素在情感检测模型的预测中有多大影响？本研究探讨了人类标注的情感触发因素与模型在情感预测中认为重要的特征之间的相关性。我们引入了一个新数据集EmoTrigger，包含来自三个不同数据集的900条社交媒体帖子，这些帖子经过专家高一致性标注。利用EmoTrigger，我们评估了大型语言模型（LLMs）识别情感触发因素的能力，并对LLMs与微调模型在这些任务中考虑的重要特征进行了比较分析。结果显示，情感触发因素在情感预测模型中并未被视为重要特征，而是与各种特征及情感检测任务之间存在复杂的相互作用。

🔬 方法详解

问题定义：本研究旨在解决情感检测模型在情感触发因素考虑上的不足，现有方法未能有效利用人类情感触发的相关信息，导致情感预测的准确性下降。

核心思路：论文通过引入EmoTrigger数据集，评估大型语言模型对情感触发因素的识别能力，探索情感触发因素与其他特征之间的关系，以揭示情感检测模型的潜在不足。

技术框架：整体架构包括数据集构建、情感触发因素标注、模型训练与评估三个主要模块。首先，构建EmoTrigger数据集并进行专家标注；其次，训练大型语言模型和微调模型；最后，进行比较分析。

关键创新：最重要的技术创新点在于引入了EmoTrigger数据集，并通过系统的比较分析揭示了情感触发因素在情感预测中的重要性不足，这一发现与现有研究形成鲜明对比。

关键设计：在模型训练中，采用了标准的损失函数和优化算法，确保模型能够有效学习情感触发因素与其他特征之间的关系，同时保持了数据集的高一致性和多样性。

📊 实验亮点

实验结果显示，情感触发因素在大型语言模型的情感预测中并未被视为重要特征，模型的性能提升主要依赖于其他特征的复杂交互。这一发现为情感检测模型的改进提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、情感计算和人机交互等。通过更好地理解情感触发因素，未来的情感检测模型可以更准确地捕捉用户情感，从而提升用户体验和情感智能应用的效果。

📄 摘要（原文）

Situations and events evoke emotions in humans, but to what extent do they inform the prediction of emotion detection models? This work investigates how well human-annotated emotion triggers correlate with features that models deemed salient in their prediction of emotions. First, we introduce a novel dataset EmoTrigger, consisting of 900 social media posts sourced from three different datasets; these were annotated by experts for emotion triggers with high agreement. Using EmoTrigger, we evaluate the ability of large language models (LLMs) to identify emotion triggers, and conduct a comparative analysis of the features considered important for these tasks between LLMs and fine-tuned models. Our analysis reveals that emotion triggers are largely not considered salient features for emotion prediction models, instead there is intricate interplay between various features and the task of emotion detection.