Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts?

📄 arXiv: 2401.11911v6 📥 PDF

作者: Hexiang Tan, Fei Sun, Wanli Yang, Yuanzhuo Wang, Qi Cao, Xueqi Cheng

分类: cs.CL, cs.AI

发布日期: 2024-01-22 (更新: 2024-06-11)

备注: Accepted at ACL 2024 Main, Homepage (https://tan-hexiang.github.io/Blinded_by_Generated_Contexts/)

💡 一句话要点

提出系统框架以解决LLMs生成与检索上下文合并问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 上下文合并 生成与检索 知识冲突 偏见分析 自然语言处理 信息检索

📋 核心要点

  1. 当前对大型语言模型（LLMs）如何合并生成与检索上下文的理解不足，尤其是在知识冲突情况下。
  2. 本文提出了一种系统框架，通过构建包含冲突上下文的数据集，识别LLMs响应的来源。
  3. 实验结果显示，LLMs在面对错误信息时偏向生成上下文，揭示了生成上下文的相似性和检索上下文的完整性对结果的影响。

📝 摘要（中文）

尽管辅助信息已成为增强大型语言模型（LLMs）的关键，但关于LLMs如何合并生成的上下文与外部检索的上下文的研究相对较少。为此，本文提出了一个系统框架，以识别LLMs的响应是源于生成上下文还是检索上下文。通过构建包含冲突上下文的数据集，实验结果显示多种LLMs（如GPT-4/3.5和Llama2）在面对错误信息时仍偏向生成上下文。我们进一步识别出两个导致这种偏见的关键因素：生成上下文与问题的相似性较高，以及检索上下文的分段过程影响其完整性。这一分析为理解LLMs如何合并多样化上下文提供了新的视角，并为当前LLM增强方法的改进提供了宝贵的见解。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成与检索上下文合并时的偏见问题，现有方法未能有效区分这两种上下文的影响，导致信息错误传播。

核心思路：通过构建包含冲突上下文的数据集，系统地分析LLMs在生成与检索上下文中的响应来源，揭示其偏向性及原因。

技术框架：整体架构包括数据集构建、实验设计和结果分析三个主要模块。数据集包含每个问题的生成上下文和检索上下文，实验通过对比分析不同LLMs的响应。

关键创新：最重要的技术创新在于系统性地识别和分析LLMs对生成与检索上下文的偏见，尤其是在知识冲突的情况下，这一方法为理解LLMs的决策过程提供了新的视角。

关键设计：在实验中，设置了特定的相似性度量标准，以评估生成上下文与问题的相似性，同时分析检索上下文的分段过程对信息完整性的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4/3.5和Llama2在面对错误信息时，偏向生成上下文的比例显著，尤其是在生成上下文与问题相似性较高时。这一发现强调了生成上下文在LLMs决策中的主导地位，并为未来的模型设计提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和知识图谱等。通过改进LLMs的上下文合并机制，可以提高其在复杂任务中的表现，减少生成错误信息的风险，进而提升用户体验和信任度。

📄 摘要（原文）

While auxiliary information has become a key to enhancing Large Language Models (LLMs), relatively little is known about how LLMs merge these contexts, specifically contexts generated by LLMs and those retrieved from external sources. To investigate this, we formulate a systematic framework to identify whether LLMs' responses are attributed to either generated or retrieved contexts. To easily trace the origin of the response, we construct datasets with conflicting contexts, i.e., each question is paired with both generated and retrieved contexts, yet only one of them contains the correct answer. Our experiments reveal a significant bias in several LLMs (GPT-4/3.5 and Llama2) to favor generated contexts, even when they provide incorrect information. We further identify two key factors contributing to this bias: i) contexts generated by LLMs typically show greater similarity to the questions, increasing their likelihood of being selected; ii) the segmentation process used in retrieved contexts disrupts their completeness, thereby hindering their full utilization in LLMs. Our analysis enhances the understanding of how LLMs merge diverse contexts, offers valuable insights for advancing current LLM augmentation methods, and highlights the risk of generated misinformation for retrieval-augmented LLMs.