EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models

📄 arXiv: 2312.06281v2 📥 PDF

作者: Samuel J. Paech

分类: cs.CL, cs.AI

发布日期: 2023-12-11 (更新: 2024-01-03)

🔗 代码/项目: GITHUB

💡 一句话要点

EQ-Bench：用于评估大型语言模型情商的新型基准测试

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情商评估 大型语言模型 基准测试 情感理解 社会互动 对话系统

📋 核心要点

  1. 现有方法缺乏针对大型语言模型情商的专门评估工具，难以衡量其在理解和处理情感方面的能力。
  2. EQ-Bench通过构建包含复杂情感和社会互动的对话场景，并要求模型预测人物情感强度，以此评估模型的情商。
  3. 实验表明，EQ-Bench能有效区分不同模型的情商水平，且与通用智能基准测试具有高度相关性，验证了其有效性。

📝 摘要（中文）

本文介绍了一种名为EQ-Bench的新型基准测试，旨在评估大型语言模型（LLM）在情商方面的能力。通过要求LLM预测对话中人物情感状态的强度，来评估其理解复杂情感和社会互动的能力。该基准测试能够有效区分各种模型。研究发现，EQ-Bench与MMLU等综合性多领域基准测试（Hendrycks et al., 2020）具有很强的相关性（r=0.97），表明其可能捕捉到了一般智能的相似方面。该基准测试使用一组60个英语问题，产生了高度可重复的结果。同时，作者还提供了用于自动基准测试流程的开源代码（https://github.com/EQ-bench/EQ-Bench）和一个排行榜（https://eqbench.com）。

🔬 方法详解

问题定义：现有的大型语言模型在通用智能方面取得了显著进展，但对其情商的评估仍然不足。缺乏专门的基准测试来衡量模型理解和处理复杂情感和社会互动的能力。现有方法难以有效区分不同模型在情商方面的差异，也难以评估情商与通用智能之间的关系。

核心思路：EQ-Bench的核心思路是通过构建包含丰富情感和社会互动的对话场景，来评估模型的情商。具体来说，模型需要预测对话中人物情感状态的强度。这种方法能够更直接地考察模型对情感细微差别的理解能力，以及在社会情境中运用情感知识的能力。

技术框架：EQ-Bench的整体框架包括以下几个主要步骤：1) 构建包含情感和社会互动的对话数据集；2) 设计评估任务，即要求模型预测对话中人物情感状态的强度；3) 选择合适的评估指标，例如预测情感强度的准确率或相关性；4) 运行基准测试，并对不同模型的情商进行评估和比较。作者提供了一个自动化的基准测试流程的开源代码。

关键创新：EQ-Bench的关键创新在于其专注于评估大型语言模型的情商，并设计了一种基于对话场景的情感强度预测任务。与传统的通用智能基准测试相比，EQ-Bench更侧重于考察模型在情感理解和社会互动方面的能力。此外，EQ-Bench还提供了一个自动化的基准测试流程和排行榜，方便研究人员进行模型评估和比较。

关键设计：EQ-Bench包含60个英语问题，这些问题经过精心设计，涵盖了各种复杂的情感和社会互动场景。情感强度预测任务可以使用不同的损失函数进行优化，例如均方误差或交叉熵损失。作者没有明确说明具体的网络结构或参数设置，这取决于所评估的LLM模型。

📊 实验亮点

EQ-Bench能够有效区分各种大型语言模型的情商水平。实验结果表明，EQ-Bench与MMLU等综合性多领域基准测试具有很强的相关性（r=0.97），表明其可能捕捉到了一般智能的相似方面。此外，该基准测试使用一组60个英语问题，产生了高度可重复的结果，保证了评估的可靠性。

🎯 应用场景

EQ-Bench可用于评估和提升大型语言模型在情感计算、人机交互、心理健康等领域的应用能力。例如，可以利用EQ-Bench来开发更具同理心和情感理解能力的聊天机器人，或者用于辅助心理咨询和情感支持系统。该研究有助于推动人工智能技术在情感领域的应用，并促进人与机器之间的更自然、更有效的沟通。

📄 摘要（原文）

We introduce EQ-Bench, a novel benchmark designed to evaluate aspects of emotional intelligence in Large Language Models (LLMs). We assess the ability of LLMs to understand complex emotions and social interactions by asking them to predict the intensity of emotional states of characters in a dialogue. The benchmark is able to discriminate effectively between a wide range of models. We find that EQ-Bench correlates strongly with comprehensive multi-domain benchmarks like MMLU (Hendrycks et al., 2020) (r=0.97), indicating that we may be capturing similar aspects of broad intelligence. Our benchmark produces highly repeatable results using a set of 60 English-language questions. We also provide open-source code for an automated benchmarking pipeline at https://github.com/EQ-bench/EQ-Bench and a leaderboard at https://eqbench.com