Evaluating Character Understanding of Large Language Models via Character Profiling from Fictional Works
作者: Xinfeng Yuan, Siyu Yuan, Yuhan Cui, Tianhe Lin, Xintao Wang, Rui Xu, Jiangjie Chen, Deqing Yang
分类: cs.CL
发布日期: 2024-04-19 (更新: 2024-10-08)
备注: EMNLP 2024 camera-ready
🔗 代码/项目: GITHUB
💡 一句话要点
通过角色画像任务评估大型语言模型的角色理解能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 角色理解 角色画像 数据集构建 自然语言处理 虚构角色 评估方法
📋 核心要点
- 现有方法主要依赖基本分类任务，无法有效捕捉LLMs对虚构角色的细致理解。
- 本文提出通过角色画像任务来评估LLMs的角色理解能力，构建CroSS数据集进行评估。
- 实验结果显示，LLMs在角色理解能力方面表现优异，验证了角色画像任务的有效性。
📝 摘要（中文）
大型语言模型（LLMs）在多个AI应用中表现出色，尤其是在角色扮演代理（RPA）中，虚构角色的理解能力至关重要。以往的评估方法主要依赖于基本的分类任务或特征模仿，未能充分捕捉LLMs对角色的细致理解。本文提出通过角色画像任务来评估LLMs的角色理解能力，构建了CroSS数据集，并通过与真实参考的比较和下游任务的适用性评估生成的角色画像。实验结果表明，LLMs在角色理解能力方面表现出色，验证了该方法的有效性。
🔬 方法详解
问题定义：本文旨在解决现有方法在评估大型语言模型对虚构角色理解能力时的不足，特别是无法捕捉角色理解的细微差别。
核心思路：提出通过角色画像任务来评估LLMs的角色理解能力，利用角色画像的生成与真实参考进行比较，提供更全面的评估方式。
技术框架：整体流程包括数据集构建、角色画像生成、与真实参考的比较以及下游任务的适用性评估，主要模块包括CroSS数据集、生成模型和评估机制。
关键创新：最重要的创新在于引入角色画像任务作为评估标准，与传统的分类任务相比，能够更深入地反映LLMs对角色的理解能力。
关键设计：在数据集构建中，结合文学专家的意见，确保角色画像的质量；在生成模型中，采用多种摘要方法进行对比，评估其在不同LLMs上的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用CroSS数据集生成的角色画像与真实参考的相似度显著提高，LLMs在角色理解能力评估中表现出色，验证了该方法的有效性。具体性能数据和对比基线将在论文中详细列出。
🎯 应用场景
该研究的潜在应用领域包括虚拟角色扮演、游戏开发和教育等。通过提升LLMs对角色的理解能力，可以为角色扮演代理提供更自然的交互体验，推动AI在娱乐和教育中的应用。未来，随着技术的进步，该方法可能会扩展到更多复杂的角色理解任务中。
📄 摘要（原文）
Large language models (LLMs) have demonstrated impressive performance and spurred numerous AI applications, in which role-playing agents (RPAs) are particularly popular, especially for fictional characters. The prerequisite for these RPAs lies in the capability of LLMs to understand characters from fictional works. Previous efforts have evaluated this capability via basic classification tasks or characteristic imitation, failing to capture the nuanced character understanding with LLMs. In this paper, we propose evaluating LLMs' character understanding capability via the character profiling task, i.e., summarizing character profiles from corresponding materials, a widely adopted yet understudied practice for RPA development. Specifically, we construct the CroSS dataset from literature experts and assess the generated profiles by comparing them with ground truth references and evaluating their applicability in downstream tasks. Our experiments, which cover various summarization methods and LLMs, have yielded promising results. These results strongly validate the character understanding capability of LLMs. Resources are available at https://github.com/Joanna0123/character_profiling.