Rethinking Role-Playing Evaluation: Anonymous Benchmarking and a Systematic Study of Personality Effects
作者: Ji-Lun Peng, Yun-Nung Chen
分类: cs.CL, cs.AI
发布日期: 2026-03-04
💡 一句话要点
提出匿名评估方法，并研究人格增强对角色扮演Agent性能的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 角色扮演Agent 匿名评估 人格增强 大型语言模型 评估偏差
📋 核心要点
- 现有角色扮演Agent评估依赖知名角色，模型易利用角色名称记忆，导致泛化能力受限。
- 提出匿名评估方法，消除角色名称带来的信息偏差，更真实地评估Agent的角色扮演能力。
- 研究人格增强方法，通过人工标注或模型自生成人格特征，提升匿名环境下的角色扮演Agent性能。
📝 摘要（中文）
大型语言模型（LLMs）在开发角色扮演Agent（RPAs）方面展现出巨大潜力。然而，当前研究主要使用著名的虚构角色评估RPAs，这使得模型能够依赖与角色名称相关的记忆。这种依赖性造成了一种偏差，限制了RPAs对未见过的角色的泛化能力。为了解决这个问题，我们提出了一种匿名评估方法。跨多个基准的实验表明，匿名化显著降低了角色扮演性能，证实了名称暴露携带了隐式信息。此外，我们研究了人格增强，以提高匿名设置下的角色保真度。我们系统地比较了来自人工标注的人格特征与模型自我生成的人格特征的有效性。结果表明，结合人格信息能够持续提高RPA的性能。至关重要的是，自我生成的人格表现与人工标注的人格相当。这项工作建立了一个更公平的评估协议，并验证了一个可扩展的、人格增强的框架，用于构建鲁棒的RPAs。
🔬 方法详解
问题定义：现有角色扮演Agent的评估方法主要依赖于使用知名虚构角色，这使得模型可以利用预训练知识中与这些角色名称相关的记忆。这种方式无法真实反映Agent在面对全新或未知的角色时的角色扮演能力，限制了其泛化性。因此，需要一种更公平、更客观的评估方法，以衡量Agent在没有先验知识的情况下，根据角色描述进行角色扮演的能力。
核心思路：论文的核心思路是通过匿名化角色名称来消除评估偏差。具体来说，就是将评估中使用的角色名称替换为匿名标识符，从而迫使模型完全依赖于角色描述本身，而不是依赖于预训练知识中与角色名称相关的记忆。此外，论文还探索了通过人格增强来提升匿名环境下的角色扮演性能，即为Agent提供角色的人格特征描述，以帮助其更好地理解和扮演角色。
技术框架：论文的整体框架包括以下几个主要步骤：1) 匿名化角色名称：将评估数据集中角色的名称替换为匿名标识符。2) 人格增强：为Agent提供角色的人格特征描述，这些特征可以来自人工标注或模型自生成。3) 角色扮演：Agent根据角色描述和人格特征进行角色扮演。4) 评估：使用标准的角色扮演评估指标评估Agent的性能。论文比较了在匿名设置下，使用不同人格增强方法（人工标注 vs. 模型自生成）的Agent的性能。
关键创新：论文的关键创新在于提出了匿名评估方法，这是一种更公平、更客观的角色扮演Agent评估方法。此外，论文还验证了人格增强在提升匿名环境下的角色扮演性能方面的有效性，并发现模型自生成的人格特征可以达到与人工标注的人格特征相当的性能。
关键设计：论文的关键设计包括：1) 匿名化方法：使用唯一的匿名标识符替换角色名称。2) 人格特征表示：使用文本描述来表示角色的人格特征。3) 人格特征生成：使用大型语言模型根据角色描述生成人格特征。4) 评估指标：使用标准的角色扮演评估指标，如流畅度、一致性和相关性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，匿名化显著降低了角色扮演性能，证实了角色名称携带隐式信息。同时，人格增强能够有效提升匿名环境下的角色扮演性能，并且模型自生成的人格特征可以达到与人工标注的人格特征相当的性能。这表明，可以通过可扩展的方式构建鲁棒的角色扮演Agent。
🎯 应用场景
该研究成果可应用于开发更通用、更鲁棒的角色扮演Agent，例如在游戏、教育、心理咨询等领域。匿名评估方法可以帮助开发者更客观地评估Agent的性能，人格增强方法可以提升Agent在各种场景下的角色扮演能力。未来，该研究可以扩展到更复杂的角色扮演场景，并探索更有效的人格特征表示和生成方法。
📄 摘要（原文）
Large language models (LLMs) have demonstrated significant potential in developing Role-Playing Agents (RPAs). However, current research primarily evaluates RPAs using famous fictional characters, allowing models to rely on memory associated with character names. This dependency creates a bias that limits the generalization of RPAs to unseen personas. To address this issue, we propose an anonymous evaluation method. Experiments across multiple benchmarks reveal that anonymization significantly degrades role-playing performance, confirming that name exposure carries implicit information. Furthermore, we investigate personality augmentation to enhance role fidelity under anonymous setting. We systematically compare the efficacy of personality traits derived from human annotations versus those self-generated by the model. Our results demonstrate that incorporating personality information consistently improves RPA performance. Crucially, self-generated personalities achieve performance comparable to human-annotated ones. This work establishes a fairer evaluation protocol and validates a scalable, personality-enhanced framework for constructing robust RPAs.