Temporal Dependencies in In-Context Learning: The Role of Induction Heads
作者: Anooshka Bajaj, Deven Mahesh Mistry, Sahaj Singh Maini, Yash Aggarwal, Billy Dickson, Zoran Tiganj
分类: cs.CL, cs.AI
发布日期: 2026-04-01
💡 一句话要点
揭示In-Context Learning中时间依赖性：归纳头在序列回忆中的作用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: In-Context Learning 大型语言模型 时间依赖性 归纳头 序列回忆 注意力机制 消融实验
📋 核心要点
- 大型语言模型在上下文学习中表现出色，但其信息跟踪和检索机制尚不明确。
- 该研究表明，归纳头在模型序列回忆行为中起关键作用，尤其关注重复token后的token。
- 实验证明，移除高归纳分数的头会降低+1滞后偏差，并损害序列回忆任务的性能。
📝 摘要（中文）
大型语言模型(LLMs)展现出强大的In-Context Learning能力，但它们如何跟踪和检索上下文信息仍未得到充分探索。借鉴认知科学中的自由回忆范式（参与者以任意顺序回忆列表项），我们发现几个开源LLM始终表现出类似序列回忆的模式，将峰值概率分配给输入序列中紧跟在重复token之后的token。通过系统的消融实验，我们表明归纳头（专门关注当前token先前出现的token之后的token的注意力头）在这种现象中起着重要作用。移除具有高归纳分数的头会显著降低+1滞后偏差，而消融随机头则无法重现相同的降低效果。我们还表明，与移除随机头相比，移除具有高归纳分数的头会更大程度地损害模型在使用少量样本学习进行序列回忆时的性能。我们的发现强调了Transformer中归纳头和时间上下文处理之间在机制上的特定联系，表明这些头对于In-Context Learning期间的有序检索和类似序列回忆的行为尤为重要。
🔬 方法详解
问题定义：现有的大型语言模型虽然具备强大的上下文学习能力，但对于模型如何从上下文中跟踪和检索信息，特别是时间依赖关系，缺乏深入的理解。现有方法难以解释模型在处理序列数据时表现出的特定模式，例如序列回忆行为。
核心思路：该论文的核心思路是借鉴认知科学中的自由回忆范式，分析大型语言模型在处理序列数据时的时间依赖性。通过观察模型在重复token序列中的预测行为，并结合消融实验，揭示特定类型的注意力头（归纳头）在序列回忆中的作用。
技术框架：该研究主要采用实验分析的方法。首先，通过观察开源LLM在处理重复token序列时的预测概率分布，发现模型倾向于预测紧跟在重复token之后的token（+1滞后偏差）。然后，通过消融实验，选择性地移除具有高归纳分数的注意力头，并观察模型预测行为的变化。最后，通过少量样本学习的序列回忆任务，评估移除归纳头对模型性能的影响。
关键创新：该论文的关键创新在于发现了归纳头在大型语言模型中处理时间上下文信息，特别是序列回忆行为中的重要作用。通过量化归纳头的影响，并证明其与序列回忆任务性能之间的关系，为理解Transformer模型内部机制提供了新的视角。
关键设计：该研究的关键设计包括：1) 使用重复token序列作为输入，以诱导模型产生序列回忆行为；2) 定义归纳分数来量化注意力头的归纳能力；3) 通过消融实验，选择性地移除具有高归纳分数的注意力头，并观察模型预测行为的变化；4) 使用少量样本学习的序列回忆任务，评估移除归纳头对模型性能的影响。具体而言，归纳分数的计算方式以及消融实验中头的选择策略是关键的技术细节。
🖼️ 关键图片
📊 实验亮点
实验结果表明，移除具有高归纳分数的注意力头可以显著降低模型在处理重复token序列时产生的+1滞后偏差。与随机移除注意力头相比，移除高归纳分数的头对模型在序列回忆任务上的性能损害更大。这些结果表明，归纳头在模型处理时间上下文信息，特别是序列回忆行为中起着重要作用。
🎯 应用场景
该研究成果可应用于提升大型语言模型在序列建模任务中的性能，例如文本生成、机器翻译和对话系统。通过更好地理解和利用归纳头，可以设计更有效的模型架构和训练方法，提高模型对时间依赖关系的建模能力，从而改善下游任务的表现。此外，该研究也为理解人类认知中的序列回忆机制提供了新的视角。
📄 摘要（原文）
Large language models (LLMs) exhibit strong in-context learning capabilities, but how they track and retrieve information from context remains underexplored. Drawing on the free recall paradigm in cognitive science (where participants recall list items in any order), we show that several open-source LLMs consistently display a serial-recall-like pattern, assigning peak probability to tokens that immediately follow a repeated token in the input sequence. Through systematic ablation experiments, we show that induction heads, specialized attention heads that attend to the token following a previous occurrence of the current token, play an important role in this phenomenon. Removing heads with a high induction score substantially reduces the +1 lag bias, whereas ablating random heads does not reproduce the same reduction. We also show that removing heads with high induction scores impairs the performance of models prompted to do serial recall using few-shot learning to a larger extent than removing random heads. Our findings highlight a mechanistically specific connection between induction heads and temporal context processing in transformers, suggesting that these heads are especially important for ordered retrieval and serial-recall-like behavior during in-context learning.