Frequency Explains the Inverse Correlation of Large Language Models' Size, Training Data Amount, and Surprisal's Fit to Reading Times
作者: Byung-Doh Oh, Shisen Yue, William Schuler
分类: cs.CL, cs.LG
发布日期: 2024-02-03
备注: EACL 2024
💡 一句话要点
提出频率因素解释大语言模型大小与阅读时间拟合度的逆相关性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 Transformer 词频 阅读时间 惊讶度估计 低频词预测 特征归因分析
📋 核心要点
- 核心问题：现有大型语言模型在规模和训练数据增加时，其惊讶度估计与人类阅读时间的拟合度下降，尤其在低频词上表现明显。
- 方法要点：通过分析词频对模型表现的影响，揭示了模型大小与阅读时间拟合度之间的逆相关性及其原因。
- 实验或效果：研究结果表明，较大模型在预测稀有词时表现更为准确，导致其惊讶度估计偏离人类的阅读预期。
📝 摘要（中文）
近期研究表明，随着基于Transformer的大型语言模型规模和训练数据量的增加，其惊讶度估计与自然人类阅读时间的拟合度下降。本文通过一系列分析指出，词频是解释这两种趋势的关键因素。首先，四种语言模型在四个语料库上的残差误差显示，模型规模与阅读时间拟合度之间的逆相关性在低频词上最为明显。其次，训练动态表明，所有模型在后期训练步骤中学习预测稀有词，且较大模型的预测更为准确。最后，特征归因分析表明，较大模型能够基于更长的上下文窗口和更强的局部关联准确预测稀有词。这些结果表明，Transformer模型的惊讶度估计因其对稀有词的复杂关联学习而偏离人类期望。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在规模与训练数据增加时，其惊讶度估计与人类阅读时间拟合度下降的问题。现有方法未能充分解释词频对模型表现的影响，导致对低频词的预测不准确。
核心思路：论文提出通过分析词频作为关键因素，揭示模型大小与阅读时间拟合度之间的逆相关性。通过对不同模型的残差分析和训练动态观察，深入探讨了这一现象的根本原因。
技术框架：研究采用了多种语言模型及其在不同语料库上的表现进行比较，分析了模型在训练过程中的动态变化，并进行了特征归因分析，以理解模型对稀有词的预测能力。
关键创新：最重要的创新在于识别出词频对模型表现的影响，尤其是在低频词上的显著性，揭示了较大模型在预测稀有词时的超人类复杂关联学习能力。
关键设计：研究中采用了多种语言模型进行对比，分析了模型的残差误差，并在训练动态中观察了模型对稀有词的学习过程，结合特征归因分析，揭示了模型的上下文窗口和局部关联的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，较大模型在低频词的预测准确性上显著提高，尤其是在后期训练步骤中，模型的拟合度与人类阅读时间的相关性显著降低。具体而言，较大模型的残差误差在低频词上表现出更强的逆相关性，表明其对稀有词的预测能力超出人类水平。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、阅读理解系统和人机交互等。通过优化语言模型的训练策略，可以提高模型在实际应用中的表现，尤其是在处理低频词时的准确性，从而提升用户体验和系统的智能化水平。
📄 摘要（原文）
Recent studies have shown that as Transformer-based language models become larger and are trained on very large amounts of data, the fit of their surprisal estimates to naturalistic human reading times degrades. The current work presents a series of analyses showing that word frequency is a key explanatory factor underlying these two trends. First, residual errors from four language model families on four corpora show that the inverse correlation between model size and fit to reading times is the strongest on the subset of least frequent words, which is driven by excessively accurate predictions of larger model variants. Additionally, training dynamics reveal that during later training steps, all model variants learn to predict rare words and that larger model variants do so more accurately, which explains the detrimental effect of both training data amount and model size on fit to reading times. Finally, a feature attribution analysis demonstrates that larger model variants are able to accurately predict rare words based on both an effectively longer context window size as well as stronger local associations compared to smaller model variants. Taken together, these results indicate that Transformer-based language models' surprisal estimates diverge from human-like expectations due to the superhumanly complex associations they learn for predicting rare words.