Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact
作者: Jelena Meyer, David Garcia, Dirk U. Wulff
分类: cs.AI, cs.CL, cs.HC
发布日期: 2026-06-18
💡 一句话要点
揭示大型语言模型心理特征的测量伪影问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 心理测量 测量伪影 响应偏差 心理特征评估 响应正交性 人工智能伦理 安全评估
📋 核心要点
- 现有心理测量工具在评估大型语言模型时存在显著的测量伪影，导致结果不可靠。
- 论文提出通过响应正交性来评估LLMs的心理特征，以减少测量伪影的影响。
- 实验结果表明，模型之间的差异主要由响应偏差驱动，且该偏差与模型能力相关，但无法完全消除。
📝 摘要（中文）
本研究探讨了用于评估大型语言模型（LLMs）心理特征的心理测量工具的有效性，发现这些特征主要是测量伪影。通过对56个指令调优的LLMs和大量人类样本进行的个性和风险偏好测试，结果显示模型之间的差异主要源于响应偏差，而非真实特征。研究提出了响应正交性这一新概念，并呼吁对LLMs进行专门的评估，以提高测量的有效性和可靠性。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型（LLMs）心理特征评估中的测量伪影问题。现有方法依赖于人类心理测量工具，导致结果不可靠，无法准确反映模型的真实特征。
核心思路：论文的核心思路是通过引入响应正交性这一新概念，来评估LLMs的心理特征，从而减少由测量工具本身引起的偏差。该方法强调了测量工具的设计对结果的影响。
技术框架：研究采用正式的心理测量框架，设计了一系列个性和风险偏好测试，涵盖自我报告和行为任务。通过对56个指令调优的LLMs进行评估，并与大规模人类样本进行对比，分析模型之间的差异来源。
关键创新：最重要的技术创新点在于识别出响应偏差对模型评估结果的主导作用，并提出响应正交性作为评估工具的有效性指标。这一发现与传统方法的本质区别在于，强调了测量工具的设计和使用对结果的影响。
关键设计：研究中使用的关键参数包括个性和风险偏好测试的设计，响应偏差的量化方法，以及对模型能力的评估。通过方差分解，研究显示81-90%的模型间差异源于响应偏差，而人类样本仅为9-16%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型之间的差异主要由响应偏差驱动，81-90%的差异归因于此，而人类样本的相应比例仅为9-16%。此外，响应偏差随着模型能力的提升而减少，但并未完全消除。这些发现强调了测量工具设计的重要性。
🎯 应用场景
该研究的潜在应用领域包括心理学研究、人工智能伦理和安全评估等。通过提高对大型语言模型心理特征的评估准确性，可以更好地理解其在实际应用中的表现，进而优化其设计和使用，确保其安全性和有效性。
📄 摘要（原文）
Psychological instruments designed for humans are increasingly used to assign large language models (LLMs) stable psychological profiles that affect their usability, safety assessment, and use as proxies for human participants in research. Using a formal psychometric framework, we show that these profiles are largely a measurement artifact. Administering a battery of personality and risk-preference instruments spanning self-reports and behavioral tasks to 56 instruction-tuned LLMs alongside large human reference samples, we report four findings. First, differences between models are driven not by the traits an instrument targets but by a directional response bias, a tendency to respond toward one end of the scale, or one labeled option, regardless of item content; a variance decomposition attributes 81-90% of between-model variation to this bias, against 9-16% in humans. Second, the bias declines with model capability but is not eliminated by it. Third, because bias rather than trait drives responding, an instrument's apparent reliability is almost entirely predicted by its response orthogonality, a term we coin for the proportion of items for which trait and bias point in opposite directions. Fourth, the profile a model appears to have shifts with the items used and can be manufactured through item selection. These results demonstrate that the apparent psychological profiles of LLMs are artifacts of the instrument used to measure them, not properties of the models themselves. As instruments borrowed from human psychology are rarely fully orthogonal and may inherently lack validity for LLMs, we call for dedicated assessments centered on response orthogonality.