Temperature-scaling surprisal estimates improve fit to human reading times -- but does it do so for the "right reasons"?
作者: Tong Liu, Iza Škrjanec, Vera Demberg
分类: cs.CL, cs.AI
发布日期: 2023-11-15 (更新: 2024-07-03)
备注: ACL 2024
💡 一句话要点
温度缩放惊讶度估计提升人类阅读时间预测准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 温度缩放 惊讶度 阅读时间 心理语言学 自然语言处理 预测能力
📋 核心要点
- 现有方法在估计词的预测概率时存在不足，尤其是大型语言模型的心理语言学预测能力下降。
- 本文提出通过温度缩放来调整大型语言模型的预测，以改善惊讶度估计和阅读时间预测的准确性。
- 实验结果显示，温度缩放显著提高了多个阅读时间语料库的拟合度，最高可达89%的对数似然改进。
📝 摘要（中文）
大量证据表明，人类语言处理的难度可以通过信息论中的惊讶度来预测，即一个词在上下文中的负对数概率。然而，如何最佳估计这些概率以预测人类处理难度仍不明确。尽管长期以来认为低困惑度的模型能够提供更准确的词预测，但最近的研究显示，对于大型模型，心理语言学的预测能力反而下降。本文测试了大型语言模型预测的温度缩放对惊讶度估计及其对英语文本阅读时间预测的影响。研究表明，温度缩放概率系统性地改善了阅读时间的拟合度，最高可达89%的对数似然改进，尤其是对于由多个子词标记组成的词。
🔬 方法详解
问题定义：本文旨在解决如何更准确地估计词的预测概率，以提高人类阅读时间的预测准确性。现有方法在大型语言模型中表现出心理语言学预测能力下降的问题。
核心思路：论文提出通过温度缩放来调整模型的输出概率，从而改善惊讶度的估计。这一设计旨在使模型的预测更符合人类的认知过程。
技术框架：整体架构包括大型语言模型的训练、温度缩放的应用以及对阅读时间的预测。主要模块包括模型输出的概率调整和对比实验的设计。
关键创新：最重要的创新在于温度缩放的应用，能够系统性地改善阅读时间的拟合度，尤其是对于由多个子词组成的词，这与传统的低困惑度模型方法有本质区别。
关键设计：在实验中，温度缩放的参数设置经过调优，以确保最佳的概率输出。此外，使用的损失函数和网络结构均基于大型语言模型的标准设计，确保了实验的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，温度缩放显著提升了阅读时间的拟合度，最高可达89%的对数似然改进。这一结果表明，温度缩放在大型语言模型中的应用能够有效提高其心理语言学预测能力，尤其是对于复杂词汇的处理。对比基线显示，传统方法在此方面的表现明显不如温度缩放后的模型。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、心理语言学以及教育技术等。通过提高阅读时间预测的准确性，可以帮助改进语言学习工具和阅读理解系统，进而提升人类的语言处理能力和学习效率。未来，研究成果可能影响语言模型的设计和应用，推动更符合人类认知的语言处理技术的发展。
📄 摘要（原文）
A wide body of evidence shows that human language processing difficulty is predicted by the information-theoretic measure surprisal, a word's negative log probability in context. However, it is still unclear how to best estimate these probabilities needed for predicting human processing difficulty -- while a long-standing belief held that models with lower perplexity would provide more accurate estimates of word predictability, and therefore lead to better reading time predictions, recent work has shown that for very large models, psycholinguistic predictive power decreases. One reason could be that language models might be more confident of their predictions than humans, because they have had exposure to several magnitudes more data. In this paper, we test what effect temperature-scaling of large language model (LLM) predictions has on surprisal estimates and their predictive power of reading times of English texts. Firstly, we show that calibration of large language models typically improves with model size, i.e. poorer calibration cannot account for poorer fit to reading times. Secondly, we find that temperature-scaling probabilities lead to a systematically better fit to reading times (up to 89% improvement in delta log likelihood), across several reading time corpora. Finally, we show that this improvement in fit is chiefly driven by words that are composed of multiple subword tokens.