EmoBench: Evaluating the Emotional Intelligence of Large Language Models

📄 arXiv: 2402.12071v3 📥 PDF

作者: Sahand Sabour, Siyang Liu, Zheyuan Zhang, June M. Liu, Jinfeng Zhou, Alvionna S. Sunaryo, Juanzi Li, Tatia M. C. Lee, Rada Mihalcea, Minlie Huang

分类: cs.CL, cs.AI

发布日期: 2024-02-19 (更新: 2024-07-17)

备注: ACL 2024 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出EmoBench以评估大型语言模型的情感智能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感智能 大型语言模型 情感理解 心理学理论 自然语言处理 人机交互 评估基准

📋 核心要点

  1. 现有情感智能评估方法主要集中于情感识别，忽视了情感调节和情感理解等重要能力，导致评估不全面。
  2. 本文提出EmoBench基准，基于心理学理论，全面定义机器情感智能，设计了400个中英文问题以考察模型的推理能力。
  3. 实验结果表明，现有大型语言模型的情感智能与人类存在显著差距，展示了未来研究的潜力和方向。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，评估其情感智能（EI）的需求日益增加。然而，现有的评估基准存在显著不足，主要集中于情感识别，而忽视了情感调节和情感理解等关键能力。此外，现有基准主要基于已有数据集，导致评估结果不可靠。为此，本文提出EmoBench，一个基于心理学理论的全面情感智能评估基准，定义了机器情感智能的核心要素，包括情感理解和情感应用。EmoBench包含400个精心设计的中英文问题，旨在考察模型的推理和理解能力。研究结果显示，现有LLMs的情感智能与人类平均水平存在显著差距，为未来研究指明了方向。

🔬 方法详解

问题定义：本文旨在解决现有情感智能评估基准的不足，特别是对情感调节和理解能力的忽视，以及数据集的可靠性问题。

核心思路：提出EmoBench基准，基于心理学理论构建全面的情感智能定义，设计问题以考察模型的情感理解和应用能力。

技术框架：EmoBench的整体架构包括问题设计、数据收集和评估模块，涵盖情感理解和情感应用的多个维度。

关键创新：EmoBench的最大创新在于其全面的情感智能定义和400个手工设计的问题，填补了现有评估基准的空白。

关键设计：问题设计注重推理和理解，涵盖多种情感场景，确保评估的有效性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有大型语言模型在情感智能评估中表现不佳，平均得分显著低于人类水平，揭示了情感智能领域的研究潜力。具体数据表明，LLMs在情感理解和应用方面的能力存在明显差距，为后续研究提供了重要依据。

🎯 应用场景

EmoBench的研究成果可广泛应用于自然语言处理、情感计算和人机交互等领域，帮助开发更具情感智能的人工智能系统。通过提升模型的情感理解能力，未来可以改善人机沟通的质量，增强用户体验。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have highlighted the need for robust, comprehensive, and challenging benchmarks. Yet, research on evaluating their Emotional Intelligence (EI) is considerably limited. Existing benchmarks have two major shortcomings: first, they mainly focus on emotion recognition, neglecting essential EI capabilities such as emotion regulation and thought facilitation through emotion understanding; second, they are primarily constructed from existing datasets, which include frequent patterns, explicit information, and annotation errors, leading to unreliable evaluation. We propose EmoBench, a benchmark that draws upon established psychological theories and proposes a comprehensive definition for machine EI, including Emotional Understanding and Emotional Application. EmoBench includes a set of 400 hand-crafted questions in English and Chinese, which are meticulously designed to require thorough reasoning and understanding. Our findings reveal a considerable gap between the EI of existing LLMs and the average human, highlighting a promising direction for future research. Our code and data are publicly available at https://github.com/Sahandfer/EmoBench.