Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks

📄 arXiv: 2311.01949v2 📥 PDF

作者: Yifan Wang, Qingyan Guo, Xinzhe Ni, Chufan Shi, Lemao Liu, Haiyun Jiang, Yujiu Yang

分类: cs.CL

发布日期: 2023-11-03 (更新: 2024-04-18)

备注: Accepted by ICASSP 2024

💡 一句话要点

提出提示增强的上下文学习以解决知识密集型任务中的信息忽视问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 大型语言模型 知识密集型任务 开放域问答 信息检索 推理能力 示例选择

📋 核心要点

  1. 现有的上下文学习方法在处理知识密集型任务时，可能会忽视与查询相关的信息，导致预测不准确。
  2. 本文提出提示增强的上下文学习（HICL），通过提取示例中的查询相关知识并明确提示，从而提升模型的推理能力。
  3. 在三个开放域问答基准上，HICL与提示相关示例检索器（HER）结合使用，显著提升了模型的性能，尤其是在gpt-3.5-turbo和LLaMA-2-Chat-7B上。

📝 摘要（中文）

随着大型语言模型（LLMs）规模的增加，上下文学习（ICL）能力逐渐显现，使其能够从示例中学习输入-标签映射并在下游任务中表现良好。然而，在标准ICL设置下，LLMs有时会忽视与查询相关的信息，导致预测错误。为了解决这一局限性，本文提出了一种新的范式——提示增强的上下文学习（HICL），旨在探索ICL在开放域问答中的潜力。HICL利用LLMs的推理能力从示例中提取查询相关知识，并将其以更明确的方式连接到提示中。此外，我们追踪这些知识的来源，以识别特定示例，并引入提示相关示例检索器（HER）来选择信息丰富的示例以增强演示。我们在三个开放域QA基准上评估HICL与HER的效果，观察到在gpt-3.5-turbo上平均提升2.89 EM分和2.52 F1分，在LLaMA-2-Chat-7B上提升7.62 EM分和7.27 F1分，相较于标准设置。

🔬 方法详解

问题定义：本文旨在解决在知识密集型任务中，现有上下文学习方法忽视查询相关信息的问题。这种忽视可能导致模型在开放域问答任务中的预测错误。

核心思路：论文提出的提示增强的上下文学习（HICL）方法，通过提取示例中的查询相关知识，并将其以更明确的方式连接到提示中，从而提升模型的推理能力和准确性。

技术框架：HICL的整体架构包括两个主要模块：首先是知识提取模块，利用LLMs的推理能力从示例中提取相关知识；其次是提示生成模块，将提取的知识与原始查询结合，形成新的提示以供模型使用。

关键创新：HICL的核心创新在于引入提示相关示例检索器（HER），该模块能够选择信息丰富的示例，从而增强演示效果。这一设计使得模型能够更有效地利用上下文信息，与传统的ICL方法形成鲜明对比。

关键设计：在实现过程中，HER的选择策略基于示例的相关性评分，确保所选示例能够提供有价值的信息。此外，模型的损失函数和训练策略经过精心设计，以优化模型在知识密集型任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HICL与HER的结合在gpt-3.5-turbo上实现了平均2.89 EM分和2.52 F1分的提升，而在LLaMA-2-Chat-7B上则分别提升了7.62 EM分和7.27 F1分。这些结果表明，HICL显著改善了模型在开放域问答任务中的性能。

🎯 应用场景

该研究的潜在应用领域包括开放域问答系统、智能助手和知识检索等场景。通过提升大型语言模型在知识密集型任务中的表现，HICL有望在教育、医疗和客户服务等多个行业中发挥重要作用，提供更为准确和高效的信息检索服务。

📄 摘要（原文）

In-context learning (ICL) ability has emerged with the increasing scale of large language models (LLMs), enabling them to learn input-label mappings from demonstrations and perform well on downstream tasks. However, under the standard ICL setting, LLMs may sometimes neglect query-related information in demonstrations, leading to incorrect predictions. To address this limitation, we propose a new paradigm called Hint-enhanced In-Context Learning (HICL) to explore the power of ICL in open-domain question answering, an important form in knowledge-intensive tasks. HICL leverages LLMs' reasoning ability to extract query-related knowledge from demonstrations, then concatenates the knowledge to prompt LLMs in a more explicit way. Furthermore, we track the source of this knowledge to identify specific examples, and introduce a Hint-related Example Retriever (HER) to select informative examples for enhanced demonstrations. We evaluate HICL with HER on 3 open-domain QA benchmarks, and observe average performance gains of 2.89 EM score and 2.52 F1 score on gpt-3.5-turbo, 7.62 EM score and 7.27 F1 score on LLaMA-2-Chat-7B compared with standard setting.