Language Models Generalize to Human-like Word Order Preferences
作者: Amanda Popadich, Shane Steinert-Threlkeld
分类: cs.CL
发布日期: 2026-08-05
💡 一句话要点
研究语言模型在贫乏输入下的词序偏好
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 语言模型 词序偏好 人工语言学习 自然语言处理 机器学习
📋 核心要点
- 核心问题：现有的语言模型是否能够在缺乏直接证据的情况下，展现出类似人类的词序偏好仍然是一个未解之谜。
- 方法要点：本文通过构建一个去除多修饰符名词短语的语料库，评估语言模型在训练后对修饰符顺序的偏好。
- 实验或效果：研究发现，模型在未见过的情况下仍然偏好范围同构的修饰符顺序，且偏好强度因修饰符类型而异。
📝 摘要（中文）
语言习得中的一个核心问题是语言偏见是否可以通过一般学习机制在不充分的输入上产生。人工语言学习研究表明，人类学习者在没有直接证据的情况下，能够可靠地推广并偏好范围同构的名词短语修饰符顺序。本文探讨语言模型在类似条件下是否表现出相同的偏见。我们创建了一个受控学习环境，训练模型在去除所有包含多个修饰符的名词短语的语料库上，从而消除关于修饰符顺序的直接证据，并在多个修饰符句子上进行评估。我们发现，尽管模型在训练期间从未观察到这些顺序，但它们仍然一致偏好范围同构的顺序。这些偏好因修饰符类型而异。通过使用点对点互信息（PMI）来检查名词-修饰符关联强度，发现PMI反映了已知的修饰符排序模式，但并未解释模型的排序偏好。这些发现表明，语言模型能够从贫乏的输入中恢复人类般的语言推广，并提供了一个受控框架以研究这种偏见的机制。
🔬 方法详解
问题定义：本文旨在探讨语言模型在缺乏直接证据的情况下，是否能够展现出人类的词序偏好。现有方法未能有效解释语言模型在贫乏输入下的行为。
核心思路：通过构建一个去除多修饰符名词短语的语料库，模型在训练中无法获得关于修饰符顺序的直接信息，进而评估其在测试集上的表现，以观察是否存在类似人类的偏好。
技术框架：整体流程包括数据准备、模型训练和模型评估三个主要阶段。首先，去除多修饰符名词短语的语料库被构建；然后，模型在该语料库上进行训练；最后，通过测试集评估模型对修饰符顺序的偏好。
关键创新：最重要的创新在于通过受控实验设计，展示了语言模型在缺乏直接证据的情况下，依然能够恢复人类的语言推广能力，这与传统的语言学习理论形成对比。
关键设计：在模型训练中，采用了特定的损失函数以优化模型对修饰符的理解，同时使用点对点互信息（PMI）来分析名词与修饰符之间的关联强度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，语言模型在未见过的情况下，仍然偏好范围同构的修饰符顺序，且这种偏好在不同修饰符类型间存在显著差异。这一发现为理解语言模型的学习机制提供了新的视角，展示了模型在处理复杂语言结构时的潜力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、语言学习系统和人机交互等。通过理解语言模型的词序偏好，可以改进机器翻译、文本生成等任务的表现，提升人机交互的自然性和流畅性。未来，研究结果可能推动更智能的语言学习工具的开发。
📄 摘要（原文）
A central question in language acquisition is whether linguistic biases can emerge from general learning mechanisms operating over underdetermined input. Artificial Language Learning (ALL) studies have shown that human learners reliably generalize beyond the evidence provided, including by preferring scope-homomorphic noun phrase modifier orders. In this work, we investigate whether language models exhibit the same bias under similar conditions. We create a controlled learning environment in which models are trained on a corpus where all noun phrases containing multiple modifiers have been removed, eliminating direct evidence about modifier ordering, and are then evaluated on multiple modifier sentences. Across three model sizes, we find that they consistently prefer scope-homomorphic orders despite never observing them during training. These preferences vary in strength by modifier type. To investigate the source of these preferences, we examine noun-modifier association strength using pointwise mutual information (PMI). While PMI reflects known modifier-ordering patterns, it does not explain the models' ordering preferences. These findings demonstrate that LMs can recover human-like linguistic generalizations from impoverished input and provide a controlled framework for investigating the mechanisms underlying such biases.