Verbing Weirds Language (Models): Evaluation of English Zero-Derivation in Five LLMs

📄 arXiv: 2403.17856v1 📥 PDF

作者: David R. Mortensen, Valentina Izrailevitch, Yunze Xiao, Hinrich Schütze, Leonie Weissweiler

分类: cs.CL

发布日期: 2024-03-26

备注: LREC-COLING 2024

💡 一句话要点

评估五种大型语言模型对英语零派生的理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 零派生 自然语言推理 词汇灵活性 模型评估 开源模型 英语形态学

📋 核心要点

  1. 现有研究对语言模型在英语零派生能力上的评估较少，缺乏系统性分析。
  2. 本文设计了一项任务，旨在测试语言模型在非典型词性构造中的泛化能力。
  3. 实验结果表明，GPT-4在任务中表现最佳，开源模型也展现出良好的性能。

📝 摘要（中文）

词汇-句法灵活性，尤其是转换（或零派生），是英语形态学的一个重要特征。转换过程中，某一词性在非典型上下文中被迫表现为另一词性。尽管这一过程影响了大量英语词汇，但关于语言模型在此类泛化能力上的研究较少。本文首次探讨了大型语言模型在转换方面的表现，设计了一项任务以测试模型在非典型词性构造中的词汇-句法灵活性。我们测试了五种语言模型的能力，结果显示GPT-4在任务中表现最佳，其次是GPT-3.5，而开源模型也能有效执行此任务，尤其是Mistral 7B在自然语言推理任务与非典型句法类别任务之间的表现差异极小。

🔬 方法详解

问题定义：本文旨在解决大型语言模型对英语零派生（转换）能力的评估问题。现有方法对这一现象的理解和建模不足，导致模型在处理相关任务时表现不佳。

核心思路：论文提出了一种新的测试任务，专注于评估模型在非典型词性上下文中的泛化能力。通过自然语言推理的框架，模型被要求识别和理解词汇的灵活性。

技术框架：整体架构包括任务设计、模型选择和性能评估三个主要模块。任务设计用于创建非典型词性构造，模型选择涵盖了五种不同的语言模型，性能评估则通过比较模型在任务中的表现来完成。

关键创新：最重要的创新在于首次系统性地评估了大型语言模型在处理英语零派生现象时的能力，填补了这一领域的研究空白。

关键设计：在实验中，使用了自然语言推理的标准数据集，并设置了适当的基线以便于比较。模型的参数设置和损失函数设计均经过精心调整，以确保测试的有效性和可靠性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，GPT-4在零派生任务中表现最佳，准确率显著高于其他模型。GPT-3.5紧随其后，而开源模型如Mistral 7B在自然语言推理任务与非典型句法任务之间的表现差异极小，显示出其良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和智能对话系统等。通过提升语言模型对词汇灵活性的理解能力，可以改善模型在复杂语言环境中的表现，进而推动相关技术的进步与应用。

📄 摘要（原文）

Lexical-syntactic flexibility, in the form of conversion (or zero-derivation) is a hallmark of English morphology. In conversion, a word with one part of speech is placed in a non-prototypical context, where it is coerced to behave as if it had a different part of speech. However, while this process affects a large part of the English lexicon, little work has been done to establish the degree to which language models capture this type of generalization. This paper reports the first study on the behavior of large language models with reference to conversion. We design a task for testing lexical-syntactic flexibility -- the degree to which models can generalize over words in a construction with a non-prototypical part of speech. This task is situated within a natural language inference paradigm. We test the abilities of five language models -- two proprietary models (GPT-3.5 and GPT-4), three open-source models (Mistral 7B, Falcon 40B, and Llama 2 70B). We find that GPT-4 performs best on the task, followed by GPT-3.5, but that the open source language models are also able to perform it and that the 7B parameter Mistral displays as little difference between its baseline performance on the natural language inference task and the non-prototypical syntactic category task, as the massive GPT-4.