LaERC-S: Improving LLM-based Emotion Recognition in Conversation with Speaker Characteristics

📄 arXiv: 2403.07260v2 📥 PDF

作者: Yumeng Fu, Junjie Wu, Zhongjie Wang, Meishan Zhang, Lili Shan, Yulin Wu, Bingquan Li

分类: cs.CL

发布日期: 2024-03-12 (更新: 2025-03-03)

备注: COLING 2025

💡 一句话要点

提出LaERC-S以解决对话中的情感识别问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 对话系统 大型语言模型 发言者特征 人机交互 情感动态 机器学习

📋 核心要点

  1. 现有的情感识别方法主要依赖于发言者特定信息，缺乏对话整体的情感动态理解，导致情感识别准确性不足。
  2. 本文提出的LaERC-S框架通过引导大型语言模型探索发言者的心理状态和行为特征，增强情感预测的准确性。
  3. 在三个基准数据集上的实验结果显示，LaERC-S显著优于现有方法，达到了新的最优性能，展示了其有效性。

📝 摘要（中文）

对话中的情感识别（ERC）是识别每个发言者在对话中情感状态的任务，近年来受到人机交互系统的广泛关注。现有研究主要集中在发言者特定信息上，缺乏对话的整体信息。尽管利用预训练的大型语言模型（LLMs）结合发言者建模的方法取得了一定成果，但提取的发言者特定信息在指示情感动态方面仍存在不足。本文提出了LaERC-S框架，旨在通过激发LLMs探索发言者的心理状态和行为特征，从而提高情感预测的准确性。通过两阶段学习，模型能够推理发言者特征并在复杂对话场景中跟踪情感。大量实验表明，LaERC-S在三个基准数据集上达到了新的最优性能。

🔬 方法详解

问题定义：本文旨在解决对话中情感识别的准确性问题，现有方法在提取发言者特定信息时未能有效捕捉情感动态，导致情感识别效果不佳。

核心思路：LaERC-S框架通过激发大型语言模型（LLMs）探索发言者的心理状态和行为特征，利用丰富的世界知识来提高情感预测的准确性。

技术框架：该框架采用两阶段学习，第一阶段推理发言者特征，第二阶段在复杂对话场景中跟踪情感。主要模块包括发言者特征提取和情感动态跟踪。

关键创新：LaERC-S的创新在于结合了发言者特征与LLMs的知识，形成了一种新的情感识别方法，区别于传统方法仅依赖于发言者特定信息的局限性。

关键设计：在模型设计中，采用了特定的损失函数来优化发言者特征的推理过程，并通过多层网络结构增强模型的表达能力，确保在复杂对话场景中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个基准数据集上的实验结果显示，LaERC-S在情感识别任务中达到了新的最优性能，具体提升幅度超过了现有方法的基线，展示了其在复杂对话场景中的有效性和准确性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、社交机器人和情感计算等。通过提高对话中的情感识别能力，能够增强人机交互的自然性和有效性，未来可能在心理健康监测和情感分析等领域产生深远影响。

📄 摘要（原文）

Emotion recognition in conversation (ERC), the task of discerning human emotions for each utterance within a conversation, has garnered significant attention in human-computer interaction systems. Previous ERC studies focus on speaker-specific information that predominantly stems from relationships among utterances, which lacks sufficient information around conversations. Recent research in ERC has sought to exploit pre-trained large language models (LLMs) with speaker modelling to comprehend emotional states. Although these methods have achieved encouraging results, the extracted speaker-specific information struggles to indicate emotional dynamics. In this paper, motivated by the fact that speaker characteristics play a crucial role and LLMs have rich world knowledge, we present LaERC-S, a novel framework that stimulates LLMs to explore speaker characteristics involving the mental state and behavior of interlocutors, for accurate emotion predictions. To endow LLMs with this knowledge information, we adopt the two-stage learning to make the models reason speaker characteristics and track the emotion of the speaker in complex conversation scenarios. Extensive experiments on three benchmark datasets demonstrate the superiority of LaERC-S, reaching the new state-of-the-art.