Academically intelligent LLMs are not necessarily socially intelligent

📄 arXiv: 2403.06591v1 📥 PDF

作者: Ruoxi Xu, Hongyu Lin, Xianpei Han, Le Sun, Yingfei Sun

分类: cs.CL, cs.CY

发布日期: 2024-03-11

💡 一句话要点

提出社会智能评估测试以评估大型语言模型的社交能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会智能 大型语言模型 评估测试 人机交互 智能助手

📋 核心要点

  1. 现有大型语言模型在社会智能方面的表现尚不明确，缺乏有效的评估工具。
  2. 本文提出了一种基于真实社会场景的标准化测试SESI，以评估LLMs的社会智能。
  3. 实验结果显示，LLMs的社会智能仍有显著提升空间，且社会智能与学术智能之间相关性较低。

📝 摘要（中文）

大型语言模型（LLMs）在学术智能方面取得了显著进展，但其社会智能表现仍不明确。基于人类社会智能理论，本文开发了一种标准化的社会智能测试，称为社会智能情境评估（SESI），以全面评估LLMs的社会智能。通过对13种流行的LLM代理进行广泛评估，结果表明LLMs的社会智能仍有显著提升空间，表面友好性是错误的主要原因。此外，LLMs的社会智能与学术智能之间的相关性较低，表明二者是不同的智能类型。尽管LLMs无法“理解”社会智能，但其社会智能与人类相似，受到社会因素的影响。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在社会智能评估方面的不足，现有方法缺乏针对性和标准化的评估工具，导致无法准确衡量其社会智能表现。

核心思路：通过借鉴人类社会智能理论，设计了一种标准化的社会智能测试SESI，旨在通过真实场景评估LLMs的社会智能能力。

技术框架：SESI测试包含多个真实社会情境，评估LLMs在不同社交场景下的反应和表现，整体流程包括场景设计、模型评估和结果分析。

关键创新：最重要的创新点在于开发了一个系统化的社会智能评估框架，强调了社会智能与学术智能的区别，填补了现有评估工具的空白。

关键设计：测试设计中考虑了多种社交因素，使用了标准化的评分机制，确保评估结果的客观性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，13种流行的LLM在SESI测试中的表现存在显著差异，整体社会智能水平仍有较大提升空间。特别是，LLMs的表面友好性导致了许多评估错误，表明其社交能力的局限性。

🎯 应用场景

该研究的潜在应用领域包括教育、心理学和人机交互等。通过评估和提升LLMs的社会智能，可以为智能助手、社交机器人等应用提供更好的用户体验，促进人机协作的有效性。

📄 摘要（原文）

The academic intelligence of large language models (LLMs) has made remarkable progress in recent times, but their social intelligence performance remains unclear. Inspired by established human social intelligence frameworks, particularly Daniel Goleman's social intelligence theory, we have developed a standardized social intelligence test based on real-world social scenarios to comprehensively assess the social intelligence of LLMs, termed as the Situational Evaluation of Social Intelligence (SESI). We conducted an extensive evaluation with 13 recent popular and state-of-art LLM agents on SESI. The results indicate the social intelligence of LLMs still has significant room for improvement, with superficially friendliness as a primary reason for errors. Moreover, there exists a relatively low correlation between the social intelligence and academic intelligence exhibited by LLMs, suggesting that social intelligence is distinct from academic intelligence for LLMs. Additionally, while it is observed that LLMs can't ``understand'' what social intelligence is, their social intelligence, similar to that of humans, is influenced by social factors.