Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization

📄 arXiv: 2606.27025v1 📥 PDF

作者: Zhenhua Xu, Dongsheng Chen, Jian Li, Yitong Lin, Zhebo Wang, Jiafu Wu, Yizhang Jin, Chengjie Wang, Meng Han, Yabiao Wang

分类: cs.CL

发布日期: 2026-06-25

💡 一句话要点

提出Psy-CoT和RAPO以提升角色扮演智能体的表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 角色扮演智能体 心理学推理 强化学习 策略优化 自然语言处理

📋 核心要点

  1. 现有的角色扮演智能体方法主要依赖监督微调，导致缺乏深层次的推理能力，影响泛化性能。
  2. 本文提出Psy-CoT框架，通过心理学基础的链式思维分解推理过程，并结合角色感知策略优化（RAPO）来提升模型的角色忠实度。
  3. 实验结果显示，Psy-CoT在CoSER、CharacterBench和CharacterEval等基准上表现优异，RAPO在多个模型规模上均超越了GRPO。

📝 摘要（中文）

构建通用角色扮演智能体以忠实描绘自然语言档案中的任何角色仍然具有挑战性。现有的主流方法——监督微调，倾向于行为模仿而缺乏深层次的人类思维过程，导致在分布外的泛化能力较差。因此，本文提出了Psy-CoT，一个基于心理学的链式思维框架，将响应前的推理分解为三个角色特定步骤——互动感知、心理共情和逻辑构建，使模型能够动态思考而非仅仅模仿表面模式。同时，强化学习是进一步与角色忠实度对齐的必要条件。我们观察到在基于大型语言模型的奖励模型下，通用短语和真正的角色特定短语获得相同的梯度信号，这种黑客行为在训练中累积，误导模型将两者视为同等最优选择。为了解决这个问题，我们提出了角色感知策略优化（RAPO），通过使用档案-标记互信息不对称地加权梯度，在正优势下放大角色特定标记，而在负优势下减弱它们。实验结果表明，Psy-CoT在多个基准上超越了现有的角色扮演方法，而RAPO在多个模型规模上始终优于GRPO。

🔬 方法详解

问题定义：本文旨在解决现有角色扮演智能体在自然语言档案中角色忠实度不足的问题。现有方法主要依赖于监督微调，导致模型在推理过程中缺乏深度思考，影响其在分布外数据上的泛化能力。

核心思路：论文提出Psy-CoT框架，通过将推理过程分解为互动感知、心理共情和逻辑构建三个步骤，使模型能够动态思考而非简单模仿。同时，结合角色感知策略优化（RAPO），通过不对称加权梯度来增强角色特定短语的学习。

技术框架：整体架构包括三个主要模块：1) Psy-CoT框架用于结构化推理；2) 强化学习模块用于角色忠实度的优化；3) RAPO用于调整梯度信号，确保模型更好地学习角色特定的表达。

关键创新：最重要的创新在于Psy-CoT框架的设计，使得模型能够在推理过程中进行深层次的心理学思考，而RAPO则通过互信息加权梯度，解决了现有方法中角色特定短语与通用短语获得相同信号的问题。

关键设计：在RAPO中，使用档案-标记互信息来不对称地加权梯度，正优势下放大角色特定标记的影响，负优势下减弱其影响。此外，损失函数的设计也考虑了角色忠实度的提升，确保模型在训练过程中能够更好地学习角色特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Psy-CoT在CoSER、CharacterBench和CharacterEval基准上均超越了现有的角色扮演链式思维方法，RAPO在多个模型规模上始终优于GRPO，显示出显著的性能提升，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟角色交互以及教育领域中的角色扮演训练。通过提升角色扮演智能体的表现，可以为用户提供更为真实和沉浸的交互体验，未来可能在娱乐和教育等多个行业产生深远影响。

📄 摘要（原文）

Building general-purpose role-playing agents that faithfully portray any character from a natural-language profile remains challenging. The dominant paradigm -- supervised fine-tuning -- encourages behavioral mimicry without deep, human-like internal thought processes, resulting in poor out-of-distribution generalization. Therefore, we propose \textbf{Psy-CoT}, a psychology-grounded chain-of-thought framework that decomposes pre-response reasoning into three role-specific steps -- \emph{Interaction Perception}, \emph{Psychological Empathy}, and \emph{Logical Construction} -- so that the model \emph{thinks dynamically} from the profile rather than merely mimicking surface patterns. While structured reasoning provides a foundation, it alone is insufficient; reinforcement learning is essential to further align the model with character fidelity. However, we observe that under LLM-based reward models, both generic phrases that hack the reward model and genuinely role-specific phrases receive identical gradient signals -- this hacking accumulates over training, misleading the model into treating both as equally optimal choices. To address this, we propose \textbf{Role-Aware Policy Optimization (RAPO)}, which uses profile--token mutual information to weight gradients asymmetrically -- amplifying role-specific tokens under positive advantage while attenuating them under negative advantage. Experiments on CoSER, CharacterBench, and CharacterEval demonstrate that Psy-CoT outperforms existing role-playing CoT methods, and RAPO consistently surpasses GRPO across multiple model scales.