How do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads are Two Towers for Metric Learning
作者: Zeping Yu, Sophia Ananiadou
分类: cs.CL, cs.LG
发布日期: 2024-02-05 (更新: 2024-09-24)
备注: Accepted by EMNLP 2024 main. Mechanistic interpretability for in-contexting in large language models
💡 一句话要点
提出新假设以解释大语言模型的上下文学习机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 上下文学习 大语言模型 标签特征提取 相似性计算 模型偏差
📋 核心要点
- 现有方法在处理语义无关标签的上下文学习时，准确性显著下降，尤其是在仅干预少量头部的情况下。
- 论文提出的假设认为，上下文头的值输出矩阵提取标签特征，而查询-键矩阵则计算特征之间的相似性，从而改善学习效果。
- 实验结果显示，通过调整查询-键矩阵的设计，能够有效减少上下文学习中的偏差，准确性提升显著。
📝 摘要（中文）
本研究探讨了大语言模型在句子分类任务中的上下文学习机制，特别是在标签语义无关的情况下。我们发现，仅干预1%的“上下文头”会显著影响上下文学习的准确性，从87.6%降至24.4%。通过分析这些头部的值输出向量，我们发现每个标签位置的向量包含了大量关于相应标签的信息。此外，我们观察到从“foo”到“bar”的预测转变是由于这些头部在“foo”和“bar”位置的注意力分数的相应减少和增加。因此，我们提出了一个假设：在上下文头中，值输出矩阵提取标签特征，而查询-键矩阵计算最后位置特征与每个标签位置特征之间的相似性。基于这一假设，我们解释了上下文学习中的多数标签偏差和近期偏差，并提出了两种方法分别减少这些偏差22%和17%。
🔬 方法详解
问题定义：本研究旨在解决大语言模型在上下文学习中对语义无关标签的处理问题，现有方法在干预少量头部时准确性大幅下降，导致模型性能不稳定。
核心思路：论文提出的核心思路是通过分析上下文头的值输出和查询-键矩阵，理解其在标签特征提取和相似性计算中的作用，从而改善上下文学习的准确性。
技术框架：整体架构包括两个主要模块：值输出矩阵用于提取标签特征，查询-键矩阵用于计算特征之间的相似性。通过这两个模块的协同作用，模型能够更好地进行上下文学习。
关键创新：最重要的技术创新在于提出了查询-键矩阵作为学习相似性度量的“塔”，这一设计与传统方法的特征提取方式有本质区别，能够更有效地处理标签间的相互关系。
关键设计：在参数设置上，论文对查询-键矩阵的结构进行了优化，采用了特定的损失函数以增强模型对标签特征的敏感性，确保在上下文学习中能够有效减少偏差。
🖼️ 关键图片
📊 实验亮点
实验结果显示，干预1%的上下文头导致模型准确性从87.6%降至24.4%。基于提出的假设，采用新方法后，模型的多数标签偏差和近期偏差分别减少了22%和17%，显著提升了上下文学习的效果。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本分类、情感分析等任务，尤其是在处理标签语义无关的场景中。通过优化上下文学习机制，未来模型能够在更广泛的任务中展现出更高的准确性和鲁棒性，推动智能系统的进一步发展。
📄 摘要（原文）
We investigate the mechanism of in-context learning (ICL) on sentence classification tasks with semantically-unrelated labels ("foo"/"bar"). We find intervening in only 1\% heads (named "in-context heads") significantly affects ICL accuracy from 87.6\% to 24.4\%. To understand this phenomenon, we analyze the value-output vectors in these heads and discover that the vectors at each label position contain substantial information about the corresponding labels. Furthermore, we observe that the prediction shift from "foo" to "bar" is due to the respective reduction and increase in these heads' attention scores at "foo" and "bar" positions. Therefore, we propose a hypothesis for ICL: in in-context heads, the value-output matrices extract label features, while the query-key matrices compute the similarity between the features at the last position and those at each label position. The query and key matrices can be considered as two towers that learn the similarity metric between the last position's features and each demonstration at label positions. Using this hypothesis, we explain the majority label bias and recency bias in ICL and propose two methods to reduce these biases by 22\% and 17\%, respectively.