Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models

📄 arXiv: 2401.07115v3 📥 PDF

作者: Lucio La Cava, Andrea Tagarelli

分类: cs.AI, cs.CL, cs.CY, cs.HC, physics.soc-ph

发布日期: 2024-01-13 (更新: 2025-03-22)

备注: Accepted and presented at the AAAI 2025 Conference. CHANGES in version v2: (i) Enhanced methodology and evaluation based on BFI in addition to MBTI, with expanded set of LLM agents; (ii) author list changed w.r.t. version (v1), see Acknowledgements

💡 一句话要点

通过开放大型语言模型研究人类个性模仿能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放大型语言模型 人类个性 心理学 个性条件化 自然语言处理 迈尔斯-布里格斯 五大人格特质

📋 核心要点

  1. 现有研究主要集中于商业授权LLMs，忽视了开放LLMs在个性表现上的潜力与进展。
  2. 本文通过评估12个开放LLM代理，探讨其在MBTI和BFI测试中的表现，分析个性条件化对其影响。
  3. 研究结果显示，开放LLM代理展现出独特个性，且结合角色与个性条件化能有效提升模仿能力。

📝 摘要（中文）

大型语言模型（LLMs）展现出类人行为，使自然语言处理与人类心理学之间的联系更加紧密。尽管已有研究探讨LLMs的个性特征，但大多集中于商业授权模型，忽视了开放模型的进展。本文通过12个基于开放模型的LLM代理进行评估，使用迈尔斯-布里格斯性格指标（MBTI）和五大人格特质（BFI）测试，探讨开放LLM代理的内在个性特征及其在特定个性和角色条件下模仿人类个性的能力。研究发现：每个开放LLM代理展现出独特的人类个性；个性条件化提示对代理的影响各异，少数成功模仿所施加个性，大多数则保持“封闭思维”；结合角色与个性条件化可增强代理模仿人类个性的能力。此研究为理解开放LLMs与人类心理学之间的关系提供了新视角。

🔬 方法详解

问题定义：本文旨在解决开放大型语言模型在模仿人类个性方面的能力不足，现有研究多集中于商业模型，缺乏对开放模型的深入探讨。

核心思路：通过对12个开放LLM代理进行MBTI和BFI测试，评估其内在个性特征，探索个性条件化对其模仿能力的影响。

技术框架：研究首先选择代表性的开放LLM模型，随后进行个性测试评估，最后分析个性条件化提示的效果，整体流程包括模型选择、测试实施和结果分析。

关键创新：本研究首次系统性地评估开放LLM在个性模仿方面的能力，揭示了开放模型与人类个性之间的复杂关系，填补了现有研究的空白。

关键设计：在实验中，采用MBTI和BFI作为评估工具，设计了个性条件化提示，并对不同代理的反应进行了定量分析，确保结果的可靠性与有效性。

📊 实验亮点

实验结果表明，开放LLM代理展现出独特的人类个性，个性条件化提示对其模仿能力的影响显著。少数代理成功模仿所施加个性，而大多数保持自身特征，结合角色与个性条件化的策略显著提升了模仿效果。

🎯 应用场景

该研究的潜在应用领域包括人机交互、个性化教育和心理健康支持等。通过理解开放LLM的个性特征，可以为开发更具人性化的智能代理提供理论基础，提升用户体验和满意度。

📄 摘要（原文）

The emergence of unveiling human-like behaviors in Large Language Models (LLMs) has led to a closer connection between NLP and human psychology. Scholars have been studying the inherent personalities exhibited by LLMs and attempting to incorporate human traits and behaviors into them. However, these efforts have primarily focused on commercially-licensed LLMs, neglecting the widespread use and notable advancements seen in Open LLMs. This work aims to address this gap by employing a set of 12 LLM Agents based on the most representative Open models and subject them to a series of assessments concerning the Myers-Briggs Type Indicator (MBTI) test and the Big Five Inventory (BFI) test. Our approach involves evaluating the intrinsic personality traits of Open LLM agents and determining the extent to which these agents can mimic human personalities when conditioned by specific personalities and roles. Our findings unveil that $(i)$ each Open LLM agent showcases distinct human personalities; $(ii)$ personality-conditioned prompting produces varying effects on the agents, with only few successfully mirroring the imposed personality, while most of them being ``closed-minded'' (i.e., they retain their intrinsic traits); and $(iii)$ combining role and personality conditioning can enhance the agents' ability to mimic human personalities. Our work represents a step up in understanding the dense relationship between NLP and human psychology through the lens of Open LLMs.