Identifying Multiple Personalities in Large Language Models with External Evaluation

📄 arXiv: 2402.14805v1 📥 PDF

作者: Xiaoyang Song, Yuta Adachi, Jessie Feng, Mouwei Lin, Linhao Yu, Frank Li, Akshat Gupta, Gopala Anumanchipalli, Simerjot Kaur

分类: cs.CL, cs.AI

发布日期: 2024-02-22

💡 一句话要点

提出外部评估方法以识别大语言模型的多重人格

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 人格评估 外部评估 机器学习 MBTI预测 人机交互 社交媒体

📋 核心要点

  1. 现有方法主要依赖自我评估测试，但其在LLMs中的适用性和可靠性受到质疑。
  2. 论文提出了一种外部评估方法，通过分析LLMs对开放式问题的反应来评估其人格，避免了自我评估的局限性。
  3. 实验结果表明，LLMs在不同情境下表现出不同的人格类型，强调了LLMs与人类人格的显著差异。

📝 摘要（中文）

随着大语言模型（LLMs）迅速融入人类日常应用，关于其行为的社会和伦理问题日益凸显。本文探讨了一种替代的人格测量方法，即外部评估方法，通过分析LLMs对开放式情境问题的反应来评估其人格。我们首先微调了Llama2-7B模型作为MBTI人格预测器，超越了现有的最先进模型。研究发现，LLMs在生成推文和评论时表现出显著不同的人格类型，而人类在这两种情境下的人格特征则保持一致。这一发现突显了LLMs与人类人格的根本差异，并呼吁重新评估LLMs的人格定义和测量方法。

🔬 方法详解

问题定义：本文旨在解决现有自我评估测试在评估大语言模型（LLMs）人格时的适用性和可靠性问题。现有方法无法准确反映LLMs的真实人格特征。

核心思路：论文提出了一种外部评估方法，通过分析LLMs对开放式情境问题的反应，利用外部机器学习模型进行人格评估。这种方法避免了直接询问LLMs的局限性，提供了更为客观的评估方式。

技术框架：整体流程包括微调Llama2-7B模型作为MBTI人格预测器，随后通过情境问题提示LLMs生成推文和评论，最后分析其输出以识别人格类型。主要模块包括模型微调、情境问题设计和人格分析。

关键创新：最重要的技术创新在于引入外部评估方法，利用机器学习模型分析LLMs的输出，而非依赖自我评估。这一方法显著提高了人格评估的客观性和准确性。

关键设计：在模型微调过程中，采用了特定的损失函数和网络结构，以确保MBTI人格预测器的性能优于现有模型。情境问题的设计也经过精心选择，以确保能够有效引导LLMs生成多样化的输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的Llama2-7B模型在MBTI人格预测方面超越了现有最先进模型，且LLMs在生成推文和评论时表现出显著不同的人格类型。这一发现强调了LLMs在不同情境下的人格多样性，呼吁对其人格定义进行重新评估。

🎯 应用场景

该研究的潜在应用领域包括人机交互、社交媒体内容生成和个性化推荐系统。通过更准确地理解和评估LLMs的人格特征，可以提升用户体验，增强人机协作的有效性。此外，研究结果可能对LLMs的伦理使用和监管提供重要参考，推动相关政策的制定。

📄 摘要（原文）

As Large Language Models (LLMs) are integrated with human daily applications rapidly, many societal and ethical concerns are raised regarding the behavior of LLMs. One of the ways to comprehend LLMs' behavior is to analyze their personalities. Many recent studies quantify LLMs' personalities using self-assessment tests that are created for humans. Yet many critiques question the applicability and reliability of these self-assessment tests when applied to LLMs. In this paper, we investigate LLM personalities using an alternate personality measurement method, which we refer to as the external evaluation method, where instead of prompting LLMs with multiple-choice questions in the Likert scale, we evaluate LLMs' personalities by analyzing their responses toward open-ended situational questions using an external machine learning model. We first fine-tuned a Llama2-7B model as the MBTI personality predictor that outperforms the state-of-the-art models as the tool to analyze LLMs' responses. Then, we prompt the LLMs with situational questions and ask them to generate Twitter posts and comments, respectively, in order to assess their personalities when playing two different roles. Using the external personality evaluation method, we identify that the obtained personality types for LLMs are significantly different when generating posts versus comments, whereas humans show a consistent personality profile in these two different situations. This shows that LLMs can exhibit different personalities based on different scenarios, thus highlighting a fundamental difference between personality in LLMs and humans. With our work, we call for a re-evaluation of personality definition and measurement in LLMs.