Comparable Demonstrations are Important in In-Context Learning: A Novel Perspective on Demonstration Selection

📄 arXiv: 2312.07476v2 📥 PDF

作者: Caoyun Fan, Jidong Tian, Yitian Li, Hao He, Yaohui Jin

分类: cs.CL, cs.AI

发布日期: 2023-12-12 (更新: 2024-01-09)

备注: ICASSP 2024

💡 一句话要点

提出可比示例(CDs)以缓解ICL中的示例偏差，提升模型泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 示例偏差 可比示例 大型语言模型 分布外泛化

📋 核心要点

  1. 现有ICL方法受限于示例数量，易产生示例偏差，导致模型误解任务本质。
  2. 通过构建可比示例(CDs)，突出任务本质，消除虚假相关性，缓解示例偏差。
  3. 实验表明，CDs能有效减少示例偏差，提升ICL在分布外场景的性能。

📝 摘要（中文）

上下文学习(ICL)是一种通过少量示例使大型语言模型(LLMs)适应下游任务的重要范式。尽管ICL取得了巨大成功，但示例数量的限制可能导致示例偏差，即LLMs推断出的输入-标签映射误解了任务的本质。受到人类经验的启发，我们尝试通过示例间关系的角度来缓解这种偏差。具体来说，我们通过最小程度地编辑文本来翻转相应的标签，从而构建可比示例(CDs)，目的是通过示例间的比较来突出任务的本质并消除潜在的虚假相关性。通过一系列关于CDs的实验，我们发现(1)示例偏差确实存在于LLMs中，并且CDs可以显著减少这种偏差；(2)CDs在ICL中表现出良好的性能，尤其是在分布外场景中。总而言之，本研究从一个新的角度探索了ICL机制，为ICL的示例选择策略提供了更深入的见解。

🔬 方法详解

问题定义：ICL依赖少量示例引导LLM完成下游任务，但示例数量有限，容易引入示例偏差。这种偏差指的是LLM学习到的输入-标签映射并非任务的真实本质，而是数据集中存在的虚假相关性。现有方法缺乏对示例间关系的深入考虑，难以有效缓解这种偏差，导致模型泛化能力不足。

核心思路：论文的核心思路是借鉴人类通过对比来学习的经验，构建“可比示例”(Comparable Demonstrations, CDs)。CDs通过对原始示例进行最小程度的修改，使其标签发生翻转，从而形成一组语义相似但标签不同的示例。通过比较这些示例，LLM可以更容易地识别出任务的关键特征，并消除虚假相关性的影响。

技术框架：该研究主要通过实验来验证CDs的有效性。首先，构建CDs数据集，这通常需要人工或半自动的方式，对原始示例进行编辑和标签翻转。然后，将CDs作为ICL的示例，输入到LLM中，并评估其在下游任务上的性能。实验中会比较使用CDs和使用原始示例的性能差异，以及在分布内和分布外场景下的性能表现。

关键创新：该研究的关键创新在于提出了“可比示例”(CDs)的概念，并将其应用于ICL中。与以往关注示例选择或排序的方法不同，该研究从示例间关系的角度出发，通过构建语义相似但标签不同的示例，来引导LLM学习任务的本质。这种方法能够有效减少示例偏差，提高模型的泛化能力。

关键设计：CDs的构建是关键。需要保证修改的最小性，即只修改那些导致标签翻转的关键部分，避免引入额外的噪声。具体实现上，可以使用一些文本编辑技术，例如替换、插入或删除关键词。此外，还需要考虑如何选择合适的原始示例进行编辑，以及如何评估CDs的质量。

📊 实验亮点

实验结果表明，使用可比示例(CDs)能够显著减少LLM中的示例偏差，并提高ICL在分布外场景的性能。具体来说，CDs在多个数据集上都取得了优于传统ICL方法的性能，尤其是在对抗性数据集上，性能提升更为明显。这表明CDs能够帮助模型更好地理解任务的本质，并消除虚假相关性的影响。

🎯 应用场景

该研究成果可应用于各种依赖上下文学习的自然语言处理任务，例如文本分类、情感分析、问答系统等。通过使用可比示例，可以提高模型在实际应用中的鲁棒性和泛化能力，尤其是在数据分布发生变化的情况下。此外，该研究也为ICL的示例选择策略提供了新的思路，有助于开发更有效的ICL方法。

📄 摘要（原文）

In-Context Learning (ICL) is an important paradigm for adapting Large Language Models (LLMs) to downstream tasks through a few demonstrations. Despite the great success of ICL, the limitation of the demonstration number may lead to demonstration bias, i.e. the input-label mapping induced by LLMs misunderstands the task's essence. Inspired by human experience, we attempt to mitigate such bias through the perspective of the inter-demonstration relationship. Specifically, we construct Comparable Demonstrations (CDs) by minimally editing the texts to flip the corresponding labels, in order to highlight the task's essence and eliminate potential spurious correlations through the inter-demonstration comparison. Through a series of experiments on CDs, we find that (1) demonstration bias does exist in LLMs, and CDs can significantly reduce such bias; (2) CDs exhibit good performance in ICL, especially in out-of-distribution scenarios. In summary, this study explores the ICL mechanisms from a novel perspective, providing a deeper insight into the demonstration selection strategy for ICL.