DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models

📄 arXiv: 2403.00896v3 📥 PDF

作者: Kedi Chen, Qin Chen, Jie Zhou, Yishen He, Liang He

分类: cs.CL, cs.AI

发布日期: 2024-03-01 (更新: 2024-10-10)

💡 一句话要点

提出DiaHalu以解决对话级幻觉评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 幻觉检测 大型语言模型 数据集构建 人机交互

📋 核心要点

  1. 现有的幻觉检测基准大多集中于句子和段落级，缺乏对话级的评估，且部分基准是人为诱导的。
  2. 论文提出DiaHalu，作为第一个对话级幻觉评估基准，通过模拟真实人机对话场景来生成数据。
  3. 实验结果表明，DiaHalu在多个LLMs上表现出显著的挑战性，为幻觉检测研究提供了新的方向。

📝 摘要（中文）

随着大型语言模型（LLMs）近年来取得显著成功，幻觉问题仍然是一个挑战，许多基准被提出以检测幻觉。然而，这些基准中有些并非自然生成，而是人为诱导的。此外，许多基准仅关注事实幻觉，而忽视了忠实度幻觉。尽管对话模式在LLMs时代被广泛应用，但当前基准仅集中于句子级和段落级幻觉。本研究提出了DiaHalu，这是我们所知的第一个对话级幻觉评估基准。我们将收集的主题整合到系统提示中，促进两个ChatGPT3.5之间的对话，随后手动修改不符合人类语言规范的内容，并让LLMs重新生成，模拟真实的人机交互场景。最后，专业学者对数据集中所有样本进行了注释。DiaHalu涵盖四个常见的多轮对话领域和五种幻觉子类型，扩展自事实和忠实度幻觉。通过一些知名LLMs和检测方法在该数据集上的实验表明，DiaHalu是一个具有挑战性的基准，对进一步研究具有重要价值。

🔬 方法详解

问题定义：本论文旨在解决当前幻觉评估基准缺乏对话级评估的问题，现有方法往往只关注句子和段落级的幻觉，且部分基准是人为诱导的，无法真实反映人机交互中的幻觉现象。

核心思路：论文的核心思路是通过模拟真实的对话场景，生成自然的对话数据，并对其进行幻觉标注，从而构建一个全面的对话级幻觉评估基准。这样的设计能够更好地反映LLMs在实际应用中的表现。

技术框架：整体架构包括数据收集、对话生成、内容修改和标注四个主要阶段。首先，收集对话主题并生成初步对话；然后，手动修改不符合语言规范的内容；接着，利用LLMs重新生成对话；最后，由专业学者对生成的对话进行标注。

关键创新：最重要的技术创新点在于首次提出对话级幻觉评估基准DiaHalu，填补了现有基准在对话场景下的空白，能够更全面地评估LLMs的幻觉现象。

关键设计：在数据生成过程中，采用了多轮对话的结构，确保对话的连贯性和自然性。同时，标注过程中引入了专业学者的评估，以提高数据集的质量和可靠性。具体的参数设置和损失函数设计在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DiaHalu在多个知名LLMs上表现出显著的挑战性，能够有效识别对话中的幻觉现象。与现有基准相比，DiaHalu在幻觉检测的准确性和全面性上均有显著提升，为未来的研究提供了重要的参考数据。

🎯 应用场景

该研究的潜在应用领域包括对话系统、客服机器人和智能助手等，能够帮助开发者更好地评估和优化LLMs在实际对话中的表现。通过提供一个标准化的评估基准，DiaHalu将推动对话系统的研究和应用，提升人机交互的质量与可靠性。

📄 摘要（原文）

Since large language models (LLMs) achieve significant success in recent years, the hallucination issue remains a challenge, numerous benchmarks are proposed to detect the hallucination. Nevertheless, some of these benchmarks are not naturally generated by LLMs but are intentionally induced. Also, many merely focus on the factuality hallucination while ignoring the faithfulness hallucination. Additionally, although dialogue pattern is more widely utilized in the era of LLMs, current benchmarks only concentrate on sentence-level and passage-level hallucination. In this study, we propose DiaHalu, the first dialogue-level hallucination evaluation benchmark to our knowledge. Initially, we integrate the collected topics into system prompts and facilitate a dialogue between two ChatGPT3.5. Subsequently, we manually modify the contents that do not adhere to human language conventions and then have LLMs re-generate, simulating authentic human-machine interaction scenarios. Finally, professional scholars annotate all the samples in the dataset. DiaHalu covers four common multi-turn dialogue domains and five hallucination subtypes, extended from factuality and faithfulness hallucination. Experiments through some well-known LLMs and detection methods on the dataset show that DiaHalu is a challenging benchmark, holding significant value for further research.