Enhancing Persona Following at Decoding Time via Dynamic Importance Estimation for Role-Playing Agents
作者: Yuxin Liu, Mingye Zhu, Siyuan Liu, Bo Hu, Lei Zhang
分类: cs.CL, cs.AI
发布日期: 2026-03-02
备注: ICLR 2026
💡 一句话要点
提出PDD框架，通过动态重要性估计增强角色扮演Agent的Persona一致性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 角色扮演Agent Persona一致性 动态重要性估计 推理时对齐 语言模型
📋 核心要点
- 现有角色扮演Agent Persona管理方法（静态prompt或微调）无法适应动态场景，导致角色行为与Persona不一致。
- 提出Persona动态解码（PDD）框架，核心思想是动态估计Persona属性在不同情境下的重要性，并以此指导解码过程。
- 实验表明，该方法在话语一致性和行为保真度方面表现出色，有效提升了角色扮演Agent的性能。
📝 摘要（中文）
随着大型语言模型的普及，角色扮演语言Agent在社会学研究中的应用日益增长。为了在社会模拟中实现逼真度，这些Agent必须遵守由角色配置文件定义的Persona，但现有的策略（静态提示工程或代价高昂的微调）无法使Persona适应动态场景。认知-情感人格系统等心理学理论为此失败提供了解释：Persona对行为的影响不是静态的，而是随场景变化的。这种情境依赖性突出了自适应Persona管理的关键需求。为了解决这一差距，我们提出了一种新颖的、理论驱动的方法，该方法动态估计情境相关的Persona重要性，并将其集成到加权奖励引导的解码中，从而在推理时实现Persona遵循。具体来说，我们引入了Persona动态解码（PDD）框架，该框架由两个关键组件组成：（1）Persona重要性估计（PIE）模块，该模块动态量化Persona属性的情境重要性，而无需ground-truth监督；（2）Persona引导的推理时对齐（PIA）范式，该范式利用这些重要性分数来构建加权多目标奖励，并在推理期间调节生成概率。大量的实验表明了我们的方法在话语一致性和行为保真度方面的有效性。
🔬 方法详解
问题定义：现有角色扮演语言Agent在动态场景中难以保持Persona一致性。静态prompt工程无法适应变化的情境，而微调成本高昂且泛化性有限。核心问题在于Persona对行为的影响是情境相关的，现有方法忽略了这一点。
核心思路：核心思路是借鉴认知-情感人格系统理论，认为Persona属性的重要性随情境变化。因此，提出动态估计Persona属性的重要性，并将其融入到解码过程中，从而使Agent的行为更好地符合其Persona。
技术框架：PDD框架包含两个主要模块：Persona重要性估计（PIE）模块和Persona引导的推理时对齐（PIA）范式。PIE模块负责动态量化Persona属性的情境重要性，无需ground-truth监督。PIA范式利用PIE模块的输出，构建加权多目标奖励，并在推理期间调节生成概率。整体流程是：输入情境和Persona信息，PIE模块估计Persona属性的重要性，然后PIA模块利用这些重要性分数调整解码过程，生成符合Persona的角色扮演话语。
关键创新：关键创新在于动态估计Persona属性的重要性，并将其融入到推理过程中。与现有方法相比，PDD框架能够根据不同的情境自适应地调整Persona的影响，从而更好地保持角色扮演Agent的Persona一致性。无需人工标注数据进行监督学习，而是通过设计合理的奖励函数来引导学习。
关键设计：PIE模块的具体实现未知，但其核心是根据情境信息估计Persona属性的重要性。PIA范式通过加权多目标奖励来调节生成概率，权重由PIE模块的输出决定。具体的多目标奖励函数设计未知，但应包含衡量话语一致性和行为保真度的指标。解码过程采用奖励引导的解码策略，具体实现未知。
🖼️ 关键图片
📊 实验亮点
论文通过大量实验验证了PDD框架的有效性。实验结果表明，该方法在话语一致性和行为保真度方面均优于现有方法。具体的性能数据和提升幅度未知，但摘要强调了实验的有效性，表明PDD框架能够显著提升角色扮演Agent的性能。
🎯 应用场景
该研究成果可应用于各种需要角色扮演的场景，例如游戏AI、虚拟助手、社交机器人等。通过增强Agent的Persona一致性，可以提高用户体验，并为社会模拟研究提供更逼真的工具。未来，该方法可以扩展到更复杂的角色扮演场景，并与其他技术（如知识图谱、情感分析）相结合，以实现更智能的角色扮演Agent。
📄 摘要（原文）
The utility of Role-Playing Language Agents in sociological research is growing alongside the adoption of Large Language Models. For realism in social simulation, these agents must adhere to their personas defined by character profiles, yet existing strategies-static prompt engineering or costly fine-tuning-fail to adapt personas to dynamic scenarios. Psychological theories, such as the Cognitive-Affective Personality Systems, provide a crucial explanation for this failure: a persona's influence on behavior is not static but varies with the scenarios. This context-dependence highlights the critical need for adaptive persona management. To address this gap, we propose a novel, theory-driven method that dynamically estimates context-dependent persona importance and integrates it into weighted reward-guided decoding, enabling inference-time persona following. Specifically, we introduce the Persona Dynamic Decoding (PDD) framework, which consists of two key components: (1) Persona Importance Estimation (PIE) module, which dynamically quantifies the contextual importance of persona attributes without requiring ground-truth supervision; and (2) Persona-Guided Inference-Time Alignment (PIA) paradigm, which leverages these importance scores to construct weighted multi-objective rewards and modulate generation probabilities during inference. Extensive experiments show the effectiveness of our method in utterance consistency and behavioral fidelity.