SocialBench: Sociality Evaluation of Role-Playing Conversational Agents
作者: Hongzhan Chen, Hehong Chen, Ming Yan, Wenshen Xu, Xing Gao, Weizhou Shen, Xiaojun Quan, Chenliang Li, Ji Zhang, Fei Huang, Jingren Zhou
分类: cs.CL
发布日期: 2024-03-20 (更新: 2024-08-05)
备注: ACL 2024 Findings
🔗 代码/项目: GITHUB
💡 一句话要点
提出SocialBench以评估角色扮演对话代理的社交能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交智能 角色扮演 对话系统 基准评估 大型语言模型 人机交互 多轮对话
📋 核心要点
- 现有研究主要关注对话能力和角色知识，缺乏对角色扮演代理社交智能的系统评估。
- 本文提出SocialBench基准，旨在评估角色扮演对话代理的社交能力，涵盖个体和群体层面。
- 实验结果表明，个体表现与群体表现不一定相关，且个体行为受群体影响显著，验证了基准的有效性。
📝 摘要（中文）
大型语言模型（LLMs）推动了各种AI对话代理的发展，包括模仿多样角色和人类行为的角色扮演对话代理。尽管之前的研究主要集中在提升对话能力、角色特定知识和风格属性上，但对其社交智能的评估却存在明显的空白。本文提出了SocialBench，这是第一个旨在系统评估角色扮演对话代理在个体和群体社交互动层面的基准。该基准涵盖500个角色、超过6000个问题提示和30800个多轮角色扮演发言。通过对主流开源和闭源LLMs的综合评估，发现个体层面表现优秀的代理并不意味着其在群体层面的能力也强。此外，个体的行为可能会因群体内其他代理的影响而发生漂移。实验结果确认了SocialBench作为评估角色扮演对话代理社交互动的重要性。
🔬 方法详解
问题定义：本文旨在解决角色扮演对话代理社交智能评估的不足，现有方法缺乏系统性和全面性，无法准确反映代理的社交能力。
核心思路：通过构建SocialBench基准，系统评估角色扮演对话代理在个体和群体社交互动中的表现，填补现有研究空白。
技术框架：SocialBench基准由多种来源构建，包含500个角色、6000个问题提示和30800个多轮对话，评估流程包括数据收集、模型评估和结果分析。
关键创新：SocialBench是首个专门针对角色扮演对话代理社交能力的评估基准，强调个体与群体表现之间的差异，揭示了社交智能的复杂性。
关键设计：基准设计中考虑了多样的角色和对话场景，采用了多轮对话的形式，确保评估的全面性和真实性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，个体层面表现优秀的代理在群体层面并不一定表现良好，且个体行为受群体影响显著。通过对主流LLMs的评估，验证了SocialBench作为社交互动评估基准的有效性，提供了重要的实验数据支持。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟助手和社交机器人等。通过评估角色扮演对话代理的社交能力，可以提升人机交互的自然性和有效性，推动相关技术的进步与应用。未来，SocialBench可能成为评估对话系统社交智能的标准工具，影响AI对话系统的设计与优化。
📄 摘要（原文）
Large language models (LLMs) have advanced the development of various AI conversational agents, including role-playing conversational agents that mimic diverse characters and human behaviors. While prior research has predominantly focused on enhancing the conversational capability, role-specific knowledge, and stylistic attributes of these agents, there has been a noticeable gap in assessing their social intelligence. In this paper, we introduce SocialBench, the first benchmark designed to systematically evaluate the sociality of role-playing conversational agents at both individual and group levels of social interactions. The benchmark is constructed from a variety of sources and covers a wide range of 500 characters and over 6,000 question prompts and 30,800 multi-turn role-playing utterances. We conduct comprehensive evaluations on this benchmark using mainstream open-source and closed-source LLMs. We find that agents excelling in individual level does not imply their proficiency in group level. Moreover, the behavior of individuals may drift as a result of the influence exerted by other agents within the group. Experimental results on SocialBench confirm its significance as a testbed for assessing the social interaction of role-playing conversational agents. The benchmark is publicly accessible at https://github.com/X-PLUG/SocialBench.