I am a Strange Dataset: Metalinguistic Tests for Language Models

📄 arXiv: 2401.05300v2 📥 PDF

作者: Tristan Thrush, Jared Moore, Miguel Monares, Christopher Potts, Douwe Kiela

分类: cs.CL, cs.AI

发布日期: 2024-01-10 (更新: 2024-08-06)

备注: ACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出新数据集以评估语言模型的元语言处理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 元语言处理 数据集构建 自然语言处理 模型评估

📋 核心要点

  1. 核心问题：现有大型语言模型在处理元语言自指语句时表现不佳，准确率接近随机水平。
  2. 方法要点：提出了'I am a Strange Dataset'，包含生成和验证两个子任务，以评估模型的元语言处理能力。
  3. 实验或效果：测试结果显示，只有GPT-4在性能上显著优于随机水平，但仍低于人类标注者的表现。

📝 摘要（中文）

本论文探讨了当前大型语言模型（LLMs）在处理元语言自指语句方面的能力。为此，作者提出了'I am a Strange Dataset'，该数据集包含生成和验证两个子任务，旨在评估模型对元语言的理解能力。通过对多种开源和闭源LLMs的测试，发现大多数模型在这两个任务中的表现接近随机水平，只有GPT-4在准确率上有所提升，但仍低于人类标注者的表现。数据集及评估工具已公开发布。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在处理元语言自指语句时的能力不足，现有方法未能有效评估模型对这类语言的理解。

核心思路：通过构建一个专门的数据集，包含生成和验证两个子任务，来系统性地评估模型在元语言处理上的能力。这样的设计使得研究者能够更清晰地识别模型的局限性。

技术框架：整体框架包括数据集的构建、模型的训练与评估。数据集由专家手工制作，并通过非专家标注者进行验证，确保数据质量。模型评估则涵盖了多种开源和闭源的LLMs。

关键创新：最重要的创新在于提出了一个专门针对元语言的测试数据集，填补了现有研究中的空白，使得对语言模型的评估更加全面和深入。

关键设计：数据集包含生成任务（如继续句子）和验证任务（如判断句子真伪），并提供了非自指的控制数据，以测试模型对元语言的整体处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有测试的模型在生成和验证任务中的表现接近随机水平，GPT-4是唯一一个在准确率上显著优于随机水平的模型，但其表现仍在60%范围内，而人类标注者的准确率在89-93%之间，显示出人类在理解元语言方面的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、教育技术和人机交互等。通过提升语言模型对元语言的理解能力，可以改善自动文本生成、智能问答系统等应用的准确性和可靠性，进而推动相关技术的发展。

📄 摘要（原文）

Statements involving metalinguistic self-reference ("This paper has six sections.") are prevalent in many domains. Can current large language models (LLMs) handle such language? In this paper, we present "I am a Strange Dataset", a new dataset for addressing this question. There are two subtasks: generation and verification. In generation, models continue statements like "The penultimate word in this sentence is" (where a correct continuation is "is"). In verification, models judge the truth of statements like "The penultimate word in this sentence is sentence." (false). We also provide minimally different metalinguistic non-self-reference examples to complement the main dataset by probing for whether models can handle metalinguistic language at all. The dataset is hand-crafted by experts and validated by non-expert annotators. We test a variety of open-source LLMs (7B to 70B parameters) as well as closed-source LLMs through APIs. All models perform close to chance across both subtasks and even on the non-self-referential metalinguistic control data, though we find some steady improvement with model scale. GPT 4 is the only model to consistently do significantly better than chance, and it is still only in the 60% range, while our untrained human annotators score well in the 89-93% range. The dataset and evaluation toolkit are available at https://github.com/TristanThrush/i-am-a-strange-dataset.