Large Language Models for Psycholinguistic Plausibility Pretesting

📄 arXiv: 2402.05455v1 📥 PDF

作者: Samuel Joseph Amouyal, Aya Meltzer-Asscher, Jonathan Berant

分类: cs.CL

发布日期: 2024-02-08

💡 一句话要点

利用大型语言模型进行心理语言学的可行性预测试

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理语言学 语言模型 可行性判断 GPT-4 人类评估 自然语言处理 模型评估

📋 核心要点

  1. 核心问题：现有的心理语言学研究依赖人类评估者进行可行性判断，效率低且受主观因素影响。
  2. 方法要点：本研究探索使用大型语言模型生成可行性判断，并评估其与人类判断的相关性。
  3. 实验或效果：GPT-4的判断与人类高度相关，但在细粒度判断上表现不佳，显示出模型的局限性。

📝 摘要（中文）

在心理语言学中，创建受控材料至关重要，以确保研究结果仅归因于预期的操控，而不受外部因素的影响。为此，心理语言学家通常会对语言材料进行预测试，常见的预测试是向人类评估者征求特定句子的可行性判断。本研究探讨了语言模型（LMs）是否可以用于生成这些可行性判断。我们考察了多种语言模型在不同语言结构上的表现，并评估其可行性判断与人类判断的相关性。结果表明，GPT-4的可行性判断与人类判断高度相关，而其他语言模型在常用句法结构上也表现良好。我们进一步测试了这种相关性是否意味着语言模型可以替代人类进行预测试，发现当需要粗粒度的可行性判断时，效果良好，但在需要细粒度判断时，即使是GPT-4也无法提供令人满意的区分能力。

🔬 方法详解

问题定义：本研究旨在解决心理语言学中对语言材料可行性判断的依赖于人类评估者的问题。现有方法的痛点在于效率低下和主观性强，影响研究结果的可靠性。

核心思路：论文提出利用大型语言模型（LMs）生成可行性判断，以期提高判断的效率和一致性。通过对比模型与人类评估者的判断，验证模型的有效性。

技术框架：研究中使用了多种语言模型，包括GPT-4，评估其在不同句法结构上的表现。整体流程包括模型生成判断、与人类判断进行对比分析，以及对判断的相关性进行统计评估。

关键创新：最重要的技术创新在于将大型语言模型应用于心理语言学的可行性判断中，提供了一种新的评估工具，与传统依赖人类评估的方式形成鲜明对比。

关键设计：在实验中，设置了不同的句法结构和判断粒度，采用相关性分析方法来评估模型输出与人类判断之间的关系，确保实验结果的科学性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4的可行性判断与人类判断的相关性高达XX%（具体数据未知），而其他模型在常用句法结构上也表现出良好的相关性。然而，在需要细粒度判断的情况下，GPT-4的表现未能达到预期，显示出其在特定任务中的局限性。

🎯 应用场景

该研究的潜在应用领域包括心理语言学研究、语言模型的评估和优化，以及教育领域的语言材料设计。通过提高可行性判断的效率，能够加速心理语言学研究的进展，并为语言模型的进一步应用提供理论支持。

📄 摘要（原文）

In psycholinguistics, the creation of controlled materials is crucial to ensure that research outcomes are solely attributed to the intended manipulations and not influenced by extraneous factors. To achieve this, psycholinguists typically pretest linguistic materials, where a common pretest is to solicit plausibility judgments from human evaluators on specific sentences. In this work, we investigate whether Language Models (LMs) can be used to generate these plausibility judgements. We investigate a wide range of LMs across multiple linguistic structures and evaluate whether their plausibility judgements correlate with human judgements. We find that GPT-4 plausibility judgements highly correlate with human judgements across the structures we examine, whereas other LMs correlate well with humans on commonly used syntactic structures. We then test whether this correlation implies that LMs can be used instead of humans for pretesting. We find that when coarse-grained plausibility judgements are needed, this works well, but when fine-grained judgements are necessary, even GPT-4 does not provide satisfactory discriminative power.