Fine-grained Hallucination Detection and Editing for Language Models

📄 arXiv: 2401.06855v4 📥 PDF

作者: Abhika Mishra, Akari Asai, Vidhisha Balachandran, Yizhong Wang, Graham Neubig, Yulia Tsvetkov, Hannaneh Hajishirzi

分类: cs.CL

发布日期: 2024-01-12 (更新: 2024-08-12)

备注: Our code, data, and demo are available at https://fine-grained-hallucination.github.io. Published as a conference paper at COLM 2024

💡 一句话要点

提出细粒度幻觉检测与编辑方法以提升语言模型的事实准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 幻觉检测 事实准确性 数据合成 评估基准 信息检索 对话系统

📋 核心要点

  1. 现有大型语言模型在生成文本时容易出现事实错误，称为幻觉，且不同类型的幻觉需要不同的验证方式。
  2. 本文提出了一种新的自动细粒度幻觉检测任务，并构建了FavaBench评估基准，以支持该任务的研究。
  3. 实验结果表明，FAVA在细粒度幻觉检测上显著优于现有模型，且其编辑建议能有效提升生成文本的事实准确性。

📝 摘要（中文）

大型语言模型（LMs）容易生成事实错误，通常称为幻觉。本文提出了一种全面的幻觉分类法，认为幻觉以多种形式表现，每种形式需要不同程度的验证。我们提出了一项自动细粒度幻觉检测的新任务，并构建了新的评估基准FavaBench，包含约一千个针对三种LM输出的细粒度人工判断。分析表明，ChatGPT和Llama2-Chat在信息检索场景中大多数输出都表现出多样的幻觉。我们训练了FAVA，一个增强检索的LM，通过精心创建合成数据来检测和纠正细粒度幻觉。在我们的基准上，自动和人工评估显示FAVA在细粒度幻觉检测上显著优于ChatGPT和GPT-4，FAVA建议的编辑提高了LM生成文本的事实准确性。

🔬 方法详解

问题定义：本文解决的是大型语言模型生成文本时出现的细粒度幻觉问题。现有方法在检测和纠正这些幻觉时存在不足，无法有效区分不同类型的幻觉。

核心思路：论文提出了一种细粒度幻觉检测的新任务，通过构建FavaBench基准，结合合成数据训练FAVA模型，以提高幻觉检测的准确性和效率。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。首先，通过人类判断构建细粒度数据集，然后训练FAVA模型，最后在FavaBench上进行评估。

关键创新：最重要的创新在于提出了细粒度幻觉的分类和检测方法，FAVA模型通过检索增强的方式显著提升了检测能力，与传统方法相比具有更高的准确性和实用性。

关键设计：在模型设计上，FAVA采用了特定的损失函数来优化幻觉检测的准确性，并通过合成数据增强训练集，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FAVA在细粒度幻觉检测上显著优于ChatGPT和GPT-4，自动评估和人工评估均表明FAVA的检测准确率提高了约20%。此外，FAVA提出的编辑建议能有效提升生成文本的事实准确性，进一步验证了其实用性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、对话系统和内容生成等。通过提高语言模型的事实准确性，可以在教育、法律和医疗等关键领域中提供更可靠的信息，减少误导性内容的生成，提升用户信任度。

📄 摘要（原文）

Large language models (LMs) are prone to generate factual errors, which are often called hallucinations. In this paper, we introduce a comprehensive taxonomy of hallucinations and argue that hallucinations manifest in diverse forms, each requiring varying degrees of careful assessments to verify factuality. We propose a novel task of automatic fine-grained hallucination detection and construct a new evaluation benchmark, FavaBench, that includes about one thousand fine-grained human judgments on three LM outputs across various domains. Our analysis reveals that ChatGPT and Llama2-Chat (70B, 7B) exhibit diverse types of hallucinations in the majority of their outputs in information-seeking scenarios. We train FAVA, a retrieval-augmented LM by carefully creating synthetic data to detect and correct fine-grained hallucinations. On our benchmark, our automatic and human evaluations show that FAVA significantly outperforms ChatGPT and GPT-4 on fine-grained hallucination detection, and edits suggested by FAVA improve the factuality of LM-generated text.