Sentence-Level Contextual Entrainment in Large Language Models
作者: Yang Liu, Chenhui Chu
分类: cs.CL
发布日期: 2026-06-23
备注: 16 pages, 3 figures
💡 一句话要点
扩展上下文共鸣至句子级别以提升语言模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 上下文共鸣 大型语言模型 句子级分析 注意力机制 自然语言处理
📋 核心要点
- 现有研究主要集中在标记级别的上下文共鸣，缺乏对句子级别的深入探讨，限制了对模型行为的全面理解。
- 本研究通过分析句子的每个标记的平均对数概率，提出了句子级上下文共鸣的概念，扩展了上下文共鸣的研究范围。
- 实验结果表明，句子级上下文共鸣存在且显著，且通过关闭特定注意力头可以有效控制这一现象，保持模型性能不变。
📝 摘要（中文）
上下文共鸣是大型语言模型（LLMs）中发现的一种新现象，指模型倾向于对上下文中出现的标记赋予更高的概率。本研究将这一现象从标记级别扩展至句子级别，通过考察句子的每个标记的平均对数概率，研究了26个来自七个家族的LLMs在两个数据集上的句子级上下文共鸣。研究发现，句子级上下文共鸣确实存在，提示中的句子（即使是反事实陈述）在模型推理时可以显著提高其概率。随着模型规模的增加，上下文共鸣逐渐减弱。此外，研究还发现2%至4%的注意力头控制了上下文共鸣，关闭这些注意力头可以有效减轻上下文共鸣而不损害模型性能。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型中上下文共鸣的理解不足，尤其是如何将其从标记级别扩展到句子级别。现有方法主要关注单个标记的概率，未能全面反映句子在模型推理中的影响。
核心思路：论文提出通过分析句子的每个标记的平均对数概率来探讨句子级上下文共鸣，认为句子在上下文中的存在会显著影响模型对其的概率评估。
技术框架：研究涵盖26个大型语言模型，分为七个家族，使用两个不同的数据集进行实验。通过对比分析不同模型在句子级上下文共鸣上的表现，探讨模型规模与上下文共鸣之间的关系。
关键创新：最重要的创新在于将上下文共鸣的研究从标记级别扩展到句子级别，揭示了句子在模型推理中的重要性，并发现特定注意力头对上下文共鸣的控制作用。
关键设计：研究中设置了2%至4%的注意力头用于控制上下文共鸣，关闭这些头部后，模型的性能未受到显著影响，显示出上下文共鸣的可调节性。实验设计中还考虑了主观与客观任务的多样性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，句子级上下文共鸣显著存在，模型在处理包含反事实陈述的提示时，其概率提升可达数倍。关闭2%至4%的特定注意力头后，模型的上下文共鸣显著减弱，但性能保持稳定，表明该方法的有效性和可行性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统和信息检索等。通过理解和调节句子级上下文共鸣，能够提升模型在复杂任务中的表现，增强用户交互体验。未来，该研究可能推动更智能的语言模型设计，促进人机交互的自然性和流畅性。
📄 摘要（原文）
Contextual entrainment, which is a newly discovered phenomenon in large language models (LLMs), refers to the tendency of a model to assign higher probabilities to tokens that appear in its context. In this work, we extend this phenomenon from the token level to the sentence level by examining the per-token mean log-probability of a sentence instead of the probabilities of individual tokens. We investigate sentence-level contextual entrainment across 26 LLMs from seven families and two datasets, which cover both subjective and objective tasks. We find that sentence-level contextual entrainment exists. This means that the sentences in the prompt (even if they are counterfactual statements) can significantly increase their probability during model inference time. As the model size increases, contextual entrainment gradually decreases. We also find that contextual entrainment is controlled by 2% to 4% of the attention heads. Turning off these attention heads can effectively mitigate contextual entrainment without hurting the model's performance.