Character is Destiny: Can Role-Playing Language Agents Make Persona-Driven Decisions?

📄 arXiv: 2404.12138v2 📥 PDF

作者: Rui Xu, Xintao Wang, Jiangjie Chen, Siyu Yuan, Xinfeng Yuan, Jiaqing Liang, Zulong Chen, Xiaoqing Dong, Yanghua Xiao

分类: cs.AI

发布日期: 2024-04-18 (更新: 2024-11-18)

💡 一句话要点

提出CHARMAP方法以提升角色驱动决策的语言模型能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 角色扮演 语言模型 决策模拟 记忆检索 自然语言处理 人工智能 机器学习

📋 核心要点

  1. 现有的角色扮演语言代理在模拟角色决策时缺乏对角色个性的深刻理解，导致决策准确性不足。
  2. 本文提出CHARMAP方法，利用角色记忆检索来增强语言模型对角色决策的理解，从而提高决策的准确性。
  3. 实验结果表明，采用CHARMAP方法的模型在角色驱动决策任务中准确率提高了5.03%，显示出显著的性能提升。

📝 摘要（中文）

本文探讨大型语言模型（LLMs）在角色驱动决策中的应用潜力，特别是能否模拟小说中角色的决策过程。研究构建了一个名为LIFECHOICE的数据集，包含来自388本书的1462个角色决策点。通过对多种LLM和角色扮演语言代理（RPLA）方法的实验，结果显示当前最先进的LLM在此任务中表现出色，但仍有改进空间。为此，提出了CHARMAP方法，通过基于角色的记忆检索显著提升了RPLA的决策准确性，准确率提高了5.03%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在角色驱动决策中的不足，现有方法未能充分理解角色个性，导致决策效果不佳。

核心思路：通过引入CHARMAP方法，利用角色的记忆检索机制，增强模型对角色个性的理解，从而提升决策的准确性。

技术框架：整体架构包括数据集构建、角色分析、模型训练和评估四个主要模块。数据集LIFECHOICE为模型提供了丰富的角色决策背景，模型通过记忆检索机制进行角色决策模拟。

关键创新：CHARMAP方法的核心创新在于其基于角色的记忆检索机制，能够有效提升模型对角色决策的理解，与传统方法相比，显著提高了决策的准确性。

关键设计：在模型设计中，采用了特定的损失函数来优化角色决策的准确性，同时对记忆检索的参数进行了细致调优，以确保模型能够有效利用角色信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用CHARMAP方法的模型在角色驱动决策任务中取得了5.03%的准确率提升，相较于现有的最先进模型表现出更强的决策能力。这一结果表明，CHARMAP方法在角色理解和决策模拟方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟角色交互和智能客服等场景。通过提升语言模型的角色驱动决策能力，可以使得虚拟角色在与用户互动时表现得更加自然和真实，进而提高用户体验和满意度。未来，该技术有望在更多人机交互场景中得到应用，推动智能系统的进一步发展。

📄 摘要（原文）

Can Large Language Models (LLMs) simulate humans in making important decisions? Recent research has unveiled the potential of using LLMs to develop role-playing language agents (RPLAs), mimicking mainly the knowledge and tones of various characters. However, imitative decision-making necessitates a more nuanced understanding of personas. In this paper, we benchmark the ability of LLMs in persona-driven decision-making. Specifically, we investigate whether LLMs can predict characters' decisions provided by the preceding stories in high-quality novels. Leveraging character analyses written by literary experts, we construct a dataset LIFECHOICE comprising 1,462 characters' decision points from 388 books. Then, we conduct comprehensive experiments on LIFECHOICE, with various LLMs and RPLA methodologies. The results demonstrate that state-of-the-art LLMs exhibit promising capabilities in this task, yet substantial room for improvement remains. Hence, we further propose the CHARMAP method, which adopts persona-based memory retrieval and significantly advances RPLAs on this task, achieving 5.03% increase in accuracy.