GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks

📄 arXiv: 2311.09606v2 📥 PDF

作者: Shivanshu Gupta, Clemens Rosenbaum, Ethan R. Elenberg

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-02-22)

💡 一句话要点

提出GistScore以优化上下文示例选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 示例选择 注意力机制 模型微调 多任务学习 自然语言处理 信息检索

📋 核心要点

  1. 现有的上下文学习方法在示例选择上存在显著的性能波动，影响模型的有效性。
  2. 本文提出示例摘要方法，通过引入注意力瓶颈来优化示例编码器的训练，形成GistScore指标。
  3. 实验结果显示，微调后的模型在多个任务上实现了超过20%的性能提升，且多任务模型具有良好的泛化能力。

📝 摘要（中文）

上下文学习（ICL）是大型语言模型（LLMs）在给定少量任务示例的情况下执行新任务的能力。然而，ICL的性能对示例的选择极为敏感。为此，本文提出了一种新颖的示例摘要方法，通过在输入和输出之间引入注意力瓶颈进行监督微调，从而动态选择最佳示例。GistScore作为一种新指标，用于评分和选择信息丰富的示例。实验表明，经过微调的模型在21个数据集上实现了超过20%的绝对性能提升，并且多任务模型在新任务上表现良好，且速度比现有无训练基线快三个数量级。

🔬 方法详解

问题定义：本文旨在解决上下文学习中示例选择的敏感性问题。现有方法在选择示例时缺乏动态适应性，导致性能不稳定。

核心思路：提出示例摘要方法，通过监督微调示例编码器并引入注意力瓶颈，优化示例选择过程，从而提高ICL性能。

技术框架：整体架构包括示例编码器、注意力瓶颈和GistScore评分模块。模型通过微调或多任务训练来适应不同数据集。

关键创新：GistScore作为新指标，能够动态选择信息丰富的示例，显著提升ICL性能，与传统方法相比具有更高的效率和准确性。

关键设计：在模型设计中，采用了特定的损失函数以优化示例选择，同时在多任务训练中使用共享参数以提高模型的泛化能力。具体的网络结构和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过微调的模型在21个数据集上实现了超过20%的绝对性能提升，相较于现有的无训练基线，速度提升达到三个数量级，展现了GistScore的优越性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化示例选择，GistScore可以提升模型在新任务上的适应能力，减少训练成本，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In-context Learning (ICL) is the ability of Large Language Models (LLMs) to perform new tasks when conditioned on prompts comprising a few task examples. However, ICL performance can be critically sensitive to the choice of examples. To dynamically select the best examples for every test input, we propose Example Gisting, a novel approach for training example encoders through supervised fine-tuning with an attention bottleneck between the inputs and outputs. These gist models form the basis for GistScore, a novel metric for scoring and selecting informative examples. Further, we experiment with two variations: (1) fine-tuning gist models for each dataset and (2) multi-task training a single model on a large collection of datasets. The latter can be used for new tasks out-of-the-box, enabling a training-free ICL pipeline. Evaluations with 21 datasets spanning 9 tasks and 8 diverse LLMs show that our fine-tuned models get state-of-the-art ICL performance with over 20% absolute gain over off-the-shelf retrievers and 5% over the best prior methods. Further, our multi-task model generalizes well to new tasks, datasets, and prompt templates. Selection using this model matches or outperforms prior methods while being three orders of magnitude faster than the strongest training-free baseline.