Whispers that Shake Foundations: Analyzing and Mitigating False Premise Hallucinations in Large Language Models

📄 arXiv: 2402.19103v1 📥 PDF

作者: Hongbang Yuan, Pengfei Cao, Zhuoran Jin, Yubo Chen, Daojian Zeng, Kang Liu, Jun Zhao

分类: cs.CL, cs.AI

发布日期: 2024-02-29

备注: 12 pages, 5 figures, 5 tables

💡 一句话要点

提出FAITH以解决大型语言模型中的虚假前提幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 虚假前提幻觉 注意力机制 知识提取 模型约束

📋 核心要点

  1. 虚假前提幻觉是大型语言模型在处理虚假前提问题时生成错误文本的现象，现有方法未能有效解决此问题。
  2. 本文提出FAITH方法，通过约束虚假前提注意力头，改善模型在面对虚假前提时的表现，提升知识提取的准确性。
  3. 实验结果显示，约束1%的注意力头可使模型性能提升近20%，验证了FAITH方法的有效性和实用性。

📝 摘要（中文）

大型语言模型（LLMs）展现了令人印象深刻的能力，但仍面临幻觉问题。其中一种显著的幻觉类型是虚假前提幻觉，指的是在面对虚假前提问题时，LLMs生成幻觉文本的现象。本文对虚假前提幻觉进行了全面分析，并阐明其内部工作机制：一小部分注意力头（称为虚假前提头）干扰了知识提取过程，导致虚假前提幻觉的发生。基于此分析，我们提出了FAITH（虚假前提注意力头约束以减轻幻觉），这是一种新颖且有效的减轻虚假前提幻觉的方法。实验表明，仅约1%的注意力头约束即可显著提高模型性能近20%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中的虚假前提幻觉问题。现有方法未能有效识别和约束导致幻觉的注意力头，导致模型在处理虚假前提时生成错误信息。

核心思路：论文的核心思路是通过识别并约束少量虚假前提注意力头，来改善模型的知识提取过程，从而减少幻觉现象的发生。这种设计旨在直接干预模型内部机制，提升其对虚假信息的抵抗力。

技术框架：整体架构包括虚假前提头的识别模块和约束模块。在模型推理过程中，识别出虚假前提头后，施加约束以限制其对知识提取的影响。

关键创新：最重要的技术创新点在于识别并约束虚假前提注意力头的机制。这一方法与现有技术的本质区别在于，它不仅关注模型输出，还深入分析了模型内部的注意力分布。

关键设计：在参数设置上，约束的注意力头仅占模型总数的约1%。损失函数设计上，结合了对虚假前提头的约束损失与模型性能提升的目标，以确保模型在推理时的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过约束约1%的虚假前提注意力头，模型性能提升近20%。这一显著提升验证了FAITH方法的有效性，相较于基线模型，表现出更强的抗幻觉能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过减轻虚假前提幻觉，FAITH方法可以提高大型语言模型在实际应用中的可靠性和准确性，推动智能助手和自动化系统的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) have shown impressive capabilities but still suffer from the issue of hallucinations. A significant type of this issue is the false premise hallucination, which we define as the phenomenon when LLMs generate hallucinated text when confronted with false premise questions. In this paper, we perform a comprehensive analysis of the false premise hallucination and elucidate its internal working mechanism: a small subset of attention heads (which we designate as false premise heads) disturb the knowledge extraction process, leading to the occurrence of false premise hallucination. Based on our analysis, we propose \textbf{FAITH} (\textbf{F}alse premise \textbf{A}ttention head constra\textbf{I}ining for mi\textbf{T}igating \textbf{H}allucinations), a novel and effective method to mitigate false premise hallucinations. It constrains the false premise attention heads during the model inference process. Impressively, extensive experiments demonstrate that constraining only approximately $1\%$ of the attention heads in the model yields a notable increase of nearly $20\%$ of model performance.