CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation

📄 arXiv: 2401.01275v2 📥 PDF

作者: Quan Tu, Shilong Fan, Zihang Tian, Rui Yan

分类: cs.CL

发布日期: 2024-01-02 (更新: 2024-01-09)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CharacterEval以解决角色扮演对话代理评估缺乏基准的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 角色扮演 对话代理 评估基准 大型语言模型 数据集构建 多维度评估 中文对话

📋 核心要点

  1. 现有的角色扮演对话代理缺乏统一的评估基准，限制了研究的深入与应用。
  2. 论文提出CharacterEval基准，结合高质量数据集，提供全面的角色扮演对话评估方案。
  3. 实验结果显示，中文大型语言模型在角色扮演对话中的表现优于GPT-4，展现出更强的能力。

📝 摘要（中文）

近年来，大型语言模型的出现彻底改变了生成代理的领域。其中，角色扮演对话代理因其能够情感上吸引用户而备受关注。然而，缺乏全面的基准限制了该领域的进展。为此，我们提出了CharacterEval，这是一个针对角色扮演对话代理的中文评估基准，配备了高质量的数据集。该数据集包含1785个多轮角色扮演对话，涵盖23020个示例，并包含77个源自中国小说和剧本的角色。数据集经过严格的人为质量控制，并结合了来自百度百科的深入角色资料。CharacterEval采用多维度的评估方法，涵盖四个维度的十三个目标指标。实验结果表明，中文大型语言模型在中文角色扮演对话中展现出比GPT-4更有前景的能力。

🔬 方法详解

问题定义：本论文旨在解决角色扮演对话代理（RPCA）评估缺乏统一基准的问题。现有方法缺乏全面性，无法有效评估对话代理的表现。

核心思路：论文提出CharacterEval基准，结合多轮对话数据集和多维度评估指标，以全面评估RPCA的能力。通过高质量的数据集和严格的质量控制，确保评估的有效性和可靠性。

技术框架：CharacterEval的整体架构包括数据集构建、质量控制和评估指标设计三个主要模块。数据集通过GPT-4提取对话，经过人工审核和角色资料增强，最终形成可用于评估的标准。

关键创新：CharacterEval的核心创新在于其综合性评估方法，涵盖了十三个目标指标，能够从多个维度评估对话代理的表现。这一方法与现有单一维度评估方法形成鲜明对比。

关键设计：在数据集构建中，采用了GPT-4进行初步对话提取，并通过人工审核确保质量。此外，角色资料的深入挖掘来自于百度百科，增强了对话的丰富性和真实性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，中文大型语言模型在角色扮演对话中的表现优于GPT-4，具体提升幅度未知。这一发现为中文对话系统的研究提供了新的方向和依据。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟助手和教育等场景。通过提供一个标准化的评估基准，CharacterEval可以帮助开发者优化角色扮演对话代理的设计，提高用户体验，并推动相关技术的进一步发展。

📄 摘要（原文）

Recently, the advent of large language models (LLMs) has revolutionized generative agents. Among them, Role-Playing Conversational Agents (RPCAs) attract considerable attention due to their ability to emotionally engage users. However, the absence of a comprehensive benchmark impedes progress in this field. To bridge this gap, we introduce CharacterEval, a Chinese benchmark for comprehensive RPCA assessment, complemented by a tailored high-quality dataset. The dataset comprises 1,785 multi-turn role-playing dialogues, encompassing 23,020 examples and featuring 77 characters derived from Chinese novels and scripts. It was carefully constructed, beginning with initial dialogue extraction via GPT-4, followed by rigorous human-led quality control, and enhanced with in-depth character profiles sourced from Baidu Baike. CharacterEval employs a multifaceted evaluation approach, encompassing thirteen targeted metrics on four dimensions. Comprehensive experiments on CharacterEval demonstrate that Chinese LLMs exhibit more promising capabilities than GPT-4 in Chinese role-playing conversation. Source code, data source and reward model will be publicly accessible at https://github.com/morecry/CharacterEval.