Challenging the Validity of Personality Tests for Large Language Models
作者: Tom Sühr, Florian E. Dorner, Samira Samadi, Augustin Kelava
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-11-09 (更新: 2024-06-05)
备注: A less extensive and shorter version of this work has been accepted at Socially Responsible Language Modelling Research (SoLaR) 2023 Workshop at NeurIPS 2023
💡 一句话要点
挑战大型语言模型人格测试的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 人格测试 有效性评估 人机交互 心理测量
📋 核心要点
- 现有方法在评估大型语言模型的人格特征时，未能考虑其与人类回答的系统性偏差，导致结果解读不准确。
- 论文通过实证研究揭示了LLMs在回答人格测试时的偏差，强调了对测试有效性的重新审视。
- 研究结果显示，LLMs对反向编码项目的回答存在一致性偏差，且人格类型的模拟未能遵循人类样本的五因素模型。
📝 摘要（中文）
随着大型语言模型（LLMs）如GPT-4在文本交互中表现出越来越人性化的行为，使用原本为人类开发的问卷评估LLMs的人格特征变得流行。然而，研究表明LLMs对人格测试的回答系统性偏离人类的回答，意味着这些测试结果不能以相同方式解读。具体而言，反向编码项目（如“我内向”与“我外向”）常常都被肯定回答。此外，旨在“引导”LLMs模拟特定人格类型的提示变化，并未遵循人类样本中五个独立人格因素的明确分离。因此，研究者认为在对LLMs的人格进行强有力的结论之前，必须调查测试的有效性。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在回答人格测试时的有效性，现有方法未能考虑LLMs与人类在回答上的系统性偏差，导致结果解读不准确。
核心思路：论文的核心思路是通过实证研究揭示LLMs在回答人格测试时的偏差，强调在得出关于LLMs“人格”的结论之前，必须重新审视测试的有效性。
技术框架：整体架构包括对LLMs的回答进行系统性分析，比较其与人类样本的回答差异，特别关注反向编码项目和人格类型模拟的有效性。
关键创新：最重要的技术创新点在于识别出LLMs在回答人格测试时的系统性偏差，尤其是在反向编码项目上的一致性回答，与现有方法的本质区别在于强调了测试有效性的重要性。
关键设计：关键设计包括对人格测试问卷的适应性调整，确保在评估LLMs时能够准确反映其回答的有效性，具体参数设置和损失函数的设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLMs在回答反向编码项目时，常常同时给予肯定回答，表明其回答模式与人类存在显著差异。此外，针对人格类型的模拟提示未能遵循人类样本中的五因素模型，强调了对LLMs人格测试有效性的重新审视。
🎯 应用场景
该研究的潜在应用领域包括人工智能助手的个性化设计、心理健康评估工具的开发以及人机交互的优化。通过理解LLMs的人格特征，可以更好地设计与用户的互动方式，提高用户体验和满意度。未来，研究结果可能推动对AI系统人格特征的标准化评估方法的建立。
📄 摘要（原文）
With large language models (LLMs) like GPT-4 appearing to behave increasingly human-like in text-based interactions, it has become popular to attempt to evaluate personality traits of LLMs using questionnaires originally developed for humans. While reusing measures is a resource-efficient way to evaluate LLMs, careful adaptations are usually required to ensure that assessment results are valid even across human subpopulations. In this work, we provide evidence that LLMs' responses to personality tests systematically deviate from human responses, implying that the results of these tests cannot be interpreted in the same way. Concretely, reverse-coded items ("I am introverted" vs. "I am extraverted") are often both answered affirmatively. Furthermore, variation across prompts designed to "steer" LLMs to simulate particular personality types does not follow the clear separation into five independent personality factors from human samples. In light of these results, we believe that it is important to investigate tests' validity for LLMs before drawing strong conclusions about potentially ill-defined concepts like LLMs' "personality".