Language in Vivo vs. in Silico: Size Matters but Larger Language Models Still Do Not Comprehend Language on a Par with Humans Due to Impenetrable Semantic Reference
作者: Vittoria Dentella, Fritz Guenther, Evelina Leivada
分类: cs.CL
发布日期: 2024-04-23 (更新: 2025-06-27)
💡 一句话要点
探讨模型规模对语言理解的影响及其局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 语法判断 模型规模 语言理解 人机比较
📋 核心要点
- 现有大型语言模型在语言理解上与人类存在定量和定性差异，尤其是在语法敏感性方面。
- 本文通过比较不同规模的LLMs在语法判断任务中的表现，探讨模型规模对语言理解的影响。
- 实验结果表明，尽管ChatGPT-4在某些任务中表现优于人类，但其在语法敏感性和答案稳定性上仍存在不足。
📝 摘要（中文）
理解语言的局限性是大型语言模型（LLMs）作为自然语言理论的前提。尽管LLMs在某些语言任务中表现出与人类的定量和定性差异，但尚不清楚这些差异是否可以通过模型规模来弥补。本文研究了模型规模的关键作用，测试了三种不同家族的LLMs（Bard、ChatGPT-3.5和ChatGPT-4）在语法判断任务中的表现。结果显示，尽管ChatGPT-4在准确性上略高于人类，但在语法敏感性方面仍存在显著差异。我们认为，仅靠规模的增加可能无法解决这一问题。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在语言理解中与人类的差异，尤其是语法判断能力的局限性。现有方法未能充分解释模型规模对语言理解的影响。
核心思路：通过对比不同规模的LLMs在语法判断任务中的表现，分析模型规模是否能够弥补人类与模型之间的理解差异。
技术框架：研究测试了三种不同规模的LLMs（Bard、ChatGPT-3.5和ChatGPT-4），在语法判断任务中收集了1200个判断结果，并与80名人类的表现进行了比较。
关键创新：本研究首次系统性地比较了不同规模LLMs在语法判断任务中的表现，揭示了模型规模与人类理解之间的根本差异。
关键设计：实验设计包括对语法性、中心嵌套、比较级和否定极性等任务的评估，使用了准确性、稳定性等指标来衡量模型表现。
📊 实验亮点
实验结果显示，ChatGPT-4在语法判断任务中的准确率为80%，高于人类的76%。然而，ChatGPT-4在答案稳定性方面表现较差，答案波动率为12.5%，而人类为9.6%。这表明尽管模型规模增大，仍未能完全模拟人类的语言理解能力。
🎯 应用场景
该研究为理解大型语言模型在自然语言处理中的局限性提供了重要见解，尤其是在语法理解方面。未来，这些发现可以指导LLMs的改进，提升其在实际应用中的表现，如智能助手、翻译系统等领域。
📄 摘要（原文）
Understanding the limits of language is a prerequisite for Large Language Models (LLMs) to act as theories of natural language. LLM performance in some language tasks presents both quantitative and qualitative differences from that of humans, however it remains to be determined whether such differences are amenable to model size. This work investigates the critical role of model scaling, determining whether increases in size make up for such differences between humans and models. We test three LLMs from different families (Bard, 137 billion parameters; ChatGPT-3.5, 175 billion; ChatGPT-4, 1.5 trillion) on a grammaticality judgment task featuring anaphora, center embedding, comparatives, and negative polarity. N=1,200 judgments are collected and scored for accuracy, stability, and improvements in accuracy upon repeated presentation of a prompt. Results of the best performing LLM, ChatGPT-4, are compared to results of n=80 humans on the same stimuli. We find that humans are overall less accurate than ChatGPT-4 (76% vs. 80% accuracy, respectively), but that this is due to ChatGPT-4 outperforming humans only in one task condition, namely on grammatical sentences. Additionally, ChatGPT-4 wavers more than humans in its answers (12.5% vs. 9.6% likelihood of an oscillating answer, respectively). Thus, while increased model size may lead to better performance, LLMs are still not sensitive to (un)grammaticality the same way as humans are. It seems possible but unlikely that scaling alone can fix this issue. We interpret these results by comparing language learning in vivo and in silico, identifying three critical differences concerning (i) the type of evidence, (ii) the poverty of the stimulus, and (iii) the occurrence of semantic hallucinations due to impenetrable linguistic reference.