FACTOID: FACtual enTailment fOr hallucInation Detection

📄 arXiv: 2403.19113v1 📥 PDF

作者: Vipula Rawte, S. M Towhidul Islam Tonmoy, Krishnav Rajbangshi, Shravani Nag, Aman Chadha, Amit P. Sheth, Amitava Das

分类: cs.CL, cs.AI

发布日期: 2024-03-28

💡 一句话要点

提出FACTOID以解决LLM生成内容的幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 事实蕴含 多任务学习 文本蕴含 数据集构建 信息检索

📋 核心要点

  1. 现有的文本蕴含方法无法有效识别大型语言模型生成内容中的幻觉现象，导致事实错误未被及时发现。
  2. 本文提出了一种新的事实蕴含（FE）方法，旨在检测LLM生成内容中的事实不准确性，并标识出具体的矛盾文本片段。
  3. 通过多任务学习框架，FACTOID基准数据集的准确性较现有方法提高了40%，并对15种现代LLM进行了评估和排名。

📝 摘要（中文）

大型语言模型（LLMs）的广泛应用带来了诸多好处，但幻觉现象成为了一个重要的关注点。为此，检索增强生成（RAG）作为一种有前景的范式，通过将LLM的输出与事实信息相结合来改善结果。本文指出，传统的文本蕴含（TE）方法不足以有效识别LLM生成内容中的幻觉。为了解决这一问题，本文提出了一种新的文本蕴含类型——事实蕴含（FE），旨在检测LLM生成内容中的事实不准确性，并突出具体的矛盾文本片段。我们介绍了FACTOID（事实蕴含用于幻觉检测）基准数据集，并提出了一种多任务学习框架，结合了最新的长文本嵌入技术，显著提高了准确性。

🔬 方法详解

问题定义：本文解决的问题是如何有效检测大型语言模型生成内容中的幻觉现象。现有的文本蕴含方法在识别事实错误和标注矛盾文本方面存在不足，无法准确反映生成内容的真实性。

核心思路：论文提出了一种新的事实蕴含（FE）方法，旨在通过对比生成文本与检索文档，识别并突出文本中的事实不准确性。这种方法设计的核心在于能够自动检测幻觉并标识出具体的矛盾部分。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。首先，构建FACTOID基准数据集；其次，采用多任务学习框架，结合最新的长文本嵌入技术，如e5-mistral-7b-instruct、GPT-3、SpanBERT和RoFormer进行训练；最后，通过Auto Hallucination Vulnerability Index对模型进行评估。

关键创新：最重要的技术创新点在于引入了事实蕴含（FE）这一新概念，能够更准确地识别和标注LLM生成内容中的幻觉，与传统的文本蕴含方法相比，FE方法在检测能力上有显著提升。

关键设计：在模型设计中，采用了多任务学习策略，结合了多种先进的文本嵌入技术，优化了损失函数以提高准确性，并通过实验验证了模型的有效性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，所提出的多任务学习框架在FACTOID基准数据集上的准确性较现有的最先进文本蕴含方法提高了40%。此外，通过Auto Hallucination Vulnerability Index对15种现代LLM进行评估，提供了量化和比较的标准。

🎯 应用场景

该研究的潜在应用领域包括内容生成、自动问答和信息检索等。通过提高对LLM生成内容的准确性检测能力，能够有效减少错误信息的传播，提升用户对AI生成内容的信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

The widespread adoption of Large Language Models (LLMs) has facilitated numerous benefits. However, hallucination is a significant concern. In response, Retrieval Augmented Generation (RAG) has emerged as a highly promising paradigm to improve LLM outputs by grounding them in factual information. RAG relies on textual entailment (TE) or similar methods to check if the text produced by LLMs is supported or contradicted, compared to retrieved documents. This paper argues that conventional TE methods are inadequate for spotting hallucinations in content generated by LLMs. For instance, consider a prompt about the 'USA's stance on the Ukraine war''. The AI-generated text states, ...U.S. President Barack Obama says the U.S. will not put troops in Ukraine...'' However, during the war the U.S. president is Joe Biden which contradicts factual reality. Moreover, current TE systems are unable to accurately annotate the given text and identify the exact portion that is contradicted. To address this, we introduces a new type of TE called ``Factual Entailment (FE).'', aims to detect factual inaccuracies in content generated by LLMs while also highlighting the specific text segment that contradicts reality. We present FACTOID (FACTual enTAILment for hallucInation Detection), a benchmark dataset for FE. We propose a multi-task learning (MTL) framework for FE, incorporating state-of-the-art (SoTA) long text embeddings such as e5-mistral-7b-instruct, along with GPT-3, SpanBERT, and RoFormer. The proposed MTL architecture for FE achieves an avg. 40\% improvement in accuracy on the FACTOID benchmark compared to SoTA TE methods. As FE automatically detects hallucinations, we assessed 15 modern LLMs and ranked them using our proposed Auto Hallucination Vulnerability Index (HVI_auto). This index quantifies and offers a comparative scale to evaluate and rank LLMs according to their hallucinations.