Vibe Check: Understanding the Effects of LLM-Based Conversational Agents' Personality and Alignment on User Perceptions in Goal-Oriented Tasks

📄 arXiv: 2509.09870v1 📥 PDF

作者: Hasibur Rahman, Smit Desai

分类: cs.HC, cs.AI, cs.CL

发布日期: 2025-09-11

💡 一句话要点

研究LLM对话Agent人格表达与用户匹配度对目标导向任务用户感知的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话Agent 人格表达 用户感知 人机交互 大五人格

📋 核心要点

  1. 现有对话Agent缺乏对人格表达水平的细致控制，难以优化用户体验。
  2. 提出Trait Modulation Keys框架，通过控制大五人格特质，实现对Agent人格表达水平的调节。
  3. 实验表明，中等程度的人格表达和良好的人格匹配度能显著提升用户对Agent的积极评价。

📝 摘要（中文）

本研究探讨了基于大型语言模型(LLM)的对话Agent(CA)的人格表达水平以及用户-Agent人格匹配度如何影响用户在目标导向任务中的感知。通过一项被试间实验(N=150)，参与者使用具有低、中、高三种人格表达水平的CA完成旅行计划任务，人格表达水平通过我们提出的Trait Modulation Keys框架进行控制，该框架基于大五人格特质。结果表明，人格表达水平与用户评价之间存在倒U型关系：中等表达水平在智能性、乐趣性、拟人化程度、采纳意愿、信任度和喜爱度方面产生了最积极的评价，显著优于两端。人格匹配度进一步提升了结果，外向性和情绪稳定性是最具影响力的特质。聚类分析确定了三种不同的兼容性概况，“良好匹配”的用户报告了非常积极的感知。这些发现表明，人格表达和策略性特质匹配是CA人格的最佳设计目标，为基于LLM的CA日益普及提供了设计启示。

🔬 方法详解

问题定义：现有对话Agent在目标导向任务中，人格表达方式较为单一，缺乏对人格表达程度的精细控制，难以满足不同用户的个性化需求，从而影响用户体验和任务完成效率。现有方法难以有效衡量和优化人格表达水平与用户偏好之间的关系。

核心思路：本研究的核心思路是探索对话Agent的人格表达水平（低、中、高）以及用户与Agent的人格匹配度对用户感知的影响。通过控制Agent在大五人格特质上的表达程度，并分析不同人格匹配模式下用户的反馈，旨在找到最佳的人格设计方案，提升用户体验和任务完成效率。

技术框架：该研究采用被试间实验设计，参与者与具有不同人格表达水平的对话Agent进行交互，完成旅行计划任务。人格表达水平通过Trait Modulation Keys框架进行控制，该框架允许研究人员调整Agent在大五人格特质上的表达程度。实验收集用户对Agent的智能性、乐趣性、拟人化程度、采纳意愿、信任度和喜爱度等方面的评价。最后，通过统计分析和聚类分析，研究人格表达水平和人格匹配度对用户感知的影响。

关键创新：本研究的关键创新在于提出了Trait Modulation Keys框架，该框架提供了一种系统化的方法来控制对话Agent的人格表达水平，并允许研究人员探索不同人格特质组合对用户感知的影响。此外，该研究还揭示了人格表达水平与用户评价之间的倒U型关系，以及人格匹配度对用户体验的积极影响。

关键设计：Trait Modulation Keys框架允许研究人员为每个大五人格特质（外向性、宜人性、尽责性、情绪稳定性、开放性）设置低、中、高三种表达水平。实验中，研究人员根据预设的人格配置，调整Agent在生成回复时的语言风格和内容，从而实现对人格表达水平的控制。实验采用Likert量表收集用户对Agent的评价，并通过方差分析和聚类分析等统计方法，分析人格表达水平和人格匹配度对用户感知的影响。

📊 实验亮点

实验结果表明，中等程度的人格表达水平在多个维度上优于低和高表达水平。人格匹配度对用户感知有显著影响，外向性和情绪稳定性是最重要的特质。聚类分析发现，与Agent人格高度匹配的用户群体对Agent的评价最高，表明个性化人格设计能显著提升用户体验。

🎯 应用场景

该研究成果可应用于各种人机交互场景，例如智能客服、虚拟助手、教育机器人等。通过调整对话Agent的人格表达水平，并根据用户的人格特征进行匹配，可以提升用户满意度、增强用户信任感，并提高任务完成效率。该研究为设计更具个性化和适应性的对话Agent提供了理论指导。

📄 摘要（原文）

Large language models (LLMs) enable conversational agents (CAs) to express distinctive personalities, raising new questions about how such designs shape user perceptions. This study investigates how personality expression levels and user-agent personality alignment influence perceptions in goal-oriented tasks. In a between-subjects experiment (N=150), participants completed travel planning with CAs exhibiting low, medium, or high expression across the Big Five traits, controlled via our novel Trait Modulation Keys framework. Results revealed an inverted-U relationship: medium expression produced the most positive evaluations across Intelligence, Enjoyment, Anthropomorphism, Intention to Adopt, Trust, and Likeability, significantly outperforming both extremes. Personality alignment further enhanced outcomes, with Extraversion and Emotional Stability emerging as the most influential traits. Cluster analysis identified three distinct compatibility profiles, with "Well-Aligned" users reporting substantially positive perceptions. These findings demonstrate that personality expression and strategic trait alignment constitute optimal design targets for CA personality, offering design implications as LLM-based CAs become increasingly prevalent.