Eliciting Personality Traits in Large Language Models

📄 arXiv: 2402.08341v2 📥 PDF

作者: Airlie Hilliard, Cristian Munoz, Zekun Wu, Adriano Soares Koshiyama

分类: cs.CL, cs.AI

发布日期: 2024-02-13 (更新: 2024-02-15)

备注: Manuscript submitted to ACM Facct. Authors One and Two contributed equally to this work

💡 一句话要点

通过新颖的提示方法揭示大语言模型的人格特征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 人格特征 招聘应用 模型透明性 五大人格特质 输出分析 微调模型

📋 核心要点

  1. 现有研究多通过人格评估来分析LLMs的人格特征，缺乏对模型输出的深入理解。
  2. 本研究采用新颖的提示方法，通过常见面试问题和特定人格特质的提示，探讨LLMs的人格表现。
  3. 实验结果显示，参数较多的LLMs展现出更丰富的人格特征，尤其在开放性和尽责性方面表现显著。

📝 摘要（中文）

随着大语言模型（LLMs）在招聘中的广泛应用，透明性和伦理问题日益突出。本文通过不同输入提示的输出变异，探讨LLMs的人格特征，采用源自常见面试问题的提示以及旨在激活特定五大人格特质的提示。研究结果表明，所有LLMs普遍表现出高开放性和低外向性，而参数较多的模型展现出更广泛的人格特征，尤其在宜人性、情绪稳定性和开放性方面。此外，微调模型的人格特征会根据数据集有所变化。未来研究方向和影响也进行了讨论。

🔬 方法详解

问题定义：本文旨在解决现有方法在分析大语言模型（LLMs）人格特征时的不足，尤其是缺乏透明性和对输出的深入理解。现有研究多依赖于人格评估工具，未能有效揭示模型的内在特征。

核心思路：本研究通过设计不同的输入提示，探讨LLMs在输出中的人格特征表现，特别是其对特定人格特质的敏感性，借此了解模型是否像人类一样受到特质激活的影响。

技术框架：研究使用了多种LLMs，包括Llama-2、Falcon、Mistral、Bloom、GPT、OPT和XLNet（基础和微调版本），并通过训练在myPersonality数据集上的分类器来分析输出的人格特征。

关键创新：本研究的创新之处在于采用了基于面试问题的提示方法，首次系统性地探讨了LLMs的人格特征表现，揭示了参数数量与人格特征之间的关系。

关键设计：在实验中，使用了多种参数设置的LLMs，特别关注微调模型在不同数据集上的表现变化，分析了开放性、宜人性和情绪稳定性等特质的关联性。实验设计确保了对输出的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有LLMs普遍表现出高开放性和低外向性。参数较少的模型在性格特征上表现相似，而参数较多的模型则展现出更广泛的人格特征，尤其在宜人性、情绪稳定性和开放性方面有显著提升。此外，微调模型的人格特征会根据数据集的不同而有所变化。

🎯 应用场景

该研究为招聘领域提供了新的视角，能够帮助企业更好地理解和利用大语言模型在候选人筛选中的应用。通过揭示模型的人格特征，企业可以在招聘过程中做出更为明智的决策。此外，研究结果也为未来的AI伦理和透明性研究提供了重要参考。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly being utilized by both candidates and employers in the recruitment context. However, with this comes numerous ethical concerns, particularly related to the lack of transparency in these "black-box" models. Although previous studies have sought to increase the transparency of these models by investigating the personality traits of LLMs, many of the previous studies have provided them with personality assessments to complete. On the other hand, this study seeks to obtain a better understanding of such models by examining their output variations based on different input prompts. Specifically, we use a novel elicitation approach using prompts derived from common interview questions, as well as prompts designed to elicit particular Big Five personality traits to examine whether the models were susceptible to trait-activation like humans are, to measure their personality based on the language used in their outputs. To do so, we repeatedly prompted multiple LMs with different parameter sizes, including Llama-2, Falcon, Mistral, Bloom, GPT, OPT, and XLNet (base and fine tuned versions) and examined their personality using classifiers trained on the myPersonality dataset. Our results reveal that, generally, all LLMs demonstrate high openness and low extraversion. However, whereas LMs with fewer parameters exhibit similar behaviour in personality traits, newer and LMs with more parameters exhibit a broader range of personality traits, with increased agreeableness, emotional stability, and openness. Furthermore, a greater number of parameters is positively associated with openness and conscientiousness. Moreover, fine-tuned models exhibit minor modulations in their personality traits, contingent on the dataset. Implications and directions for future research are discussed.