ClashEval: Quantifying the tug-of-war between an LLM's internal prior and external evidence
作者: Kevin Wu, Eric Wu, James Zou
分类: cs.CL, cs.AI
发布日期: 2024-04-16 (更新: 2025-02-07)
备注: Revised June 9 2024
💡 一句话要点
提出ClashEval以量化LLM内部先验与外部证据的冲突
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 检索增强生成 信息检索 模型评估 自我修正
📋 核心要点
- 现有的检索增强生成方法在处理错误信息时存在显著挑战，LLMs可能会错误地采纳不准确的检索内容。
- 本文通过构建包含1200多个问题的数据集，探讨LLMs如何在面对错误信息时进行自我修正，并提出改进策略。
- 实验结果显示，LLMs在60%以上的情况下会忽略自身的正确知识，采用错误的检索信息，且提出的改进方法有效提升了模型的准确性。
📝 摘要（中文）
检索增强生成（RAG）常用于减轻大型语言模型（LLMs）的幻觉现象并提供最新知识。然而，文档检索的准确性有限，可能导致错误或有害内容的呈现。本文探讨LLMs如何处理检索到的信息，尤其是在提供的内容不正确时，模型是否能忽略错误信息，或在初始响应错误时是否能利用检索信息进行自我修正。为此，研究团队构建了一个包含1200多个问题的数据集，并对答案进行了精确扰动。实验结果表明，LLMs在超过60%的情况下会采用错误的检索内容，且当检索内容越不真实时，模型越不容易采纳。本文还提出了简单的方法来提高模型在存在冲突检索内容时的准确性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在面对检索到的错误信息时的决策能力，现有方法在处理不准确内容时表现不佳，导致模型可能采纳错误信息。
核心思路：通过构建一个包含多领域问题的数据集，并对答案进行扰动，研究模型在不同情况下的表现，进而提出改进策略以提高模型的准确性。
技术框架：整体架构包括数据集构建、模型评估和改进策略三个主要模块。数据集涵盖多个领域的问题，模型评估则基于对比实验，改进策略则是基于模型对检索内容的信心程度进行调整。
关键创新：最重要的创新点在于通过精确扰动检索内容，系统性地评估LLMs在面对错误信息时的反应，揭示了模型在自我修正方面的局限性。
关键设计：在实验中，采用了多种参数设置来衡量模型对初始响应的信心，并通过调整损失函数和网络结构来优化模型在冲突信息下的表现。具体的设计细节包括对token概率的测量和对检索内容的信心评估。
📊 实验亮点
实验结果表明，LLMs在超过60%的情况下会错误地采纳不准确的检索内容，且当检索内容的真实性降低时，模型采纳错误信息的概率显著下降。通过提出的改进方法，模型在处理冲突信息时的准确性得到了有效提升。
🎯 应用场景
该研究的潜在应用领域包括医疗、教育和信息检索等多个领域，能够帮助提升LLMs在实际应用中的准确性和可靠性。未来，改进的模型可用于更复杂的任务，如实时信息更新和自动化问答系统，具有重要的实际价值。
📄 摘要（原文）
Retrieval augmented generation (RAG) is frequently used to mitigate hallucinations and provide up-to-date knowledge for large language models (LLMs). However, given that document retrieval is an imprecise task and sometimes results in erroneous or even harmful content being presented in context, this raises the question of how LLMs handle retrieved information: If the provided content is incorrect, does the model know to ignore it, or does it recapitulate the error? Conversely, when the model's initial response is incorrect, does it always know to use the retrieved information to correct itself, or does it insist on its wrong prior response? To answer this, we curate a dataset of over 1200 questions across six domains (e.g., drug dosages, Olympic records, locations) along with content relevant to answering each question. We further apply precise perturbations to the answers in the content that range from subtle to blatant errors. We benchmark six top-performing LLMs, including GPT-4o, on this dataset and find that LLMs are susceptible to adopting incorrect retrieved content, overriding their own correct prior knowledge over 60% of the time. However, the more unrealistic the retrieved content is (i.e. more deviated from truth), the less likely the model is to adopt it. Also, the less confident a model is in its initial response (via measuring token probabilities), the more likely it is to adopt the information in the retrieved content. We exploit this finding and demonstrate simple methods for improving model accuracy where there is conflicting retrieved content. Our results highlight a difficult task and benchmark for LLMs -- namely, their ability to correctly discern when it is wrong in light of correct retrieved content and to reject cases when the provided content is incorrect.