Psychometric Predictive Power of Large Language Models

📄 arXiv: 2311.07484v3 📥 PDF

作者: Tatsuki Kuribayashi, Yohei Oseki, Timothy Baldwin

分类: cs.CL, cs.AI

发布日期: 2023-11-13 (更新: 2024-04-15)

备注: 23 pages; Findings of NAACL 2024

💡 一句话要点

探讨大语言模型的心理测量预测能力与人类阅读行为的关系

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 心理测量 人类阅读行为 指令调优 提示方法 认知建模 语言假设

📋 核心要点

  1. 现有的指令调优方法未能有效提升LLMs在模拟人类阅读行为方面的表现，存在明显不足。
  2. 论文提出通过特定语言假设的提示方法来改善LLMs的心理测量预测能力，探索其对人类阅读行为的模拟效果。
  3. 实验结果显示，尽管提示方法有所改善，但指令调优后的LLMs在预测能力上仍不及基础模型，表明基础模型的优势依然明显。

📝 摘要（中文）

本研究探讨了指令调优如何影响大型语言模型（LLMs）与人类偏好的对齐。尽管指令调优旨在使LLMs的响应更符合人类认知模型，但研究发现，指令调优后的LLMs在模拟人类阅读行为的下一个词概率方面，表现往往不如基础LLMs。此外，研究还探讨了用于模拟人类阅读行为的提示方法，结果表明，反映特定语言假设的提示能够提高心理测量预测能力，但仍不及小型基础模型。这些发现强调，尽管LLMs在技术上取得了进展，但在认知建模中，基础LLMs的直接概率测量仍然是强有力的预测工具。

🔬 方法详解

问题定义：本研究旨在解决指令调优后的LLMs在模拟人类阅读行为时的不足，尤其是在下一个词概率的预测准确性方面。现有方法未能有效提升这一能力，导致LLMs的表现不如基础模型。

核心思路：论文的核心思路是通过设计特定的提示，反映特定的语言假设，从而改善LLMs在心理测量中的预测能力。这种方法旨在更好地对齐LLMs的输出与人类的认知行为。

技术框架：研究首先对指令调优后的LLMs与基础LLMs进行比较，接着引入不同的提示方法进行实验，评估其对人类阅读行为模拟的影响。主要模块包括模型训练、提示设计和性能评估。

关键创新：最重要的创新点在于提出了通过特定语言假设的提示来提升LLMs的心理测量预测能力，这与传统的直接概率测量方法形成对比，强调了提示设计的重要性。

关键设计：在实验中，采用了不同的提示策略，并对模型的参数设置进行了细致调整，以确保能够有效反映人类的阅读行为。损失函数和网络结构的选择也经过优化，以提升模型的预测性能。

📊 实验亮点

实验结果表明，尽管使用特定提示方法能够提高LLMs的心理测量预测能力，但在与基础模型的比较中，指令调优后的LLMs仍表现不佳。具体而言，基础模型在模拟人类阅读行为的下一个词概率方面，依然是一个强有力的预测工具。

🎯 应用场景

该研究的潜在应用领域包括教育、心理学和人机交互等领域。通过更好地理解LLMs与人类认知之间的关系，可以为开发更智能的教育工具和心理测量工具提供理论支持，未来可能对人类与机器的交互方式产生深远影响。

📄 摘要（原文）

Instruction tuning aligns the response of large language models (LLMs) with human preferences. Despite such efforts in human--LLM alignment, we find that instruction tuning does not always make LLMs human-like from a cognitive modeling perspective. More specifically, next-word probabilities estimated by instruction-tuned LLMs are often worse at simulating human reading behavior than those estimated by base LLMs. In addition, we explore prompting methodologies for simulating human reading behavior with LLMs. Our results show that prompts reflecting a particular linguistic hypothesis improve psychometric predictive power, but are still inferior to small base models. These findings highlight that recent advancements in LLMs, i.e., instruction tuning and prompting, do not offer better estimates than direct probability measurements from base LLMs in cognitive modeling. In other words, pure next-word probability remains a strong predictor for human reading behavior, even in the age of LLMs.