Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem

📄 arXiv: 2403.03558v1 📥 PDF

作者: Yuhong Sun, Zhangyue Yin, Qipeng Guo, Jiawen Wu, Xipeng Qiu, Hui Zhao

分类: cs.CL

发布日期: 2024-03-06

备注: 11 pages, 8 figures, accepted by LREC-Coling 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于不可解数学问题的评估方法以解决LLM幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉评估 数学问题 自然语言处理 强化学习 数据集构建 问答系统

📋 核心要点

  1. 现有大型语言模型在处理模糊问题时容易产生幻觉，导致不可靠的答案，影响其在问答任务中的表现。
  2. 本文提出了一种基于不可解数学问题的数据集和评估方法，旨在有效评估和减少LLM的幻觉现象。
  3. 实验结果显示，31个LLM在使用上下文学习和RLHF训练后，显著提高了对不可解问题的识别能力，减少了幻觉的发生。

📝 摘要（中文）

大型语言模型（LLMs）在各种自然语言处理任务中表现出色，但在模糊上下文中容易产生不可靠的推测，称为幻觉。本文提出了一种新的评估LLM幻觉的方法，基于不可解的数学文字问题（MWP）。为支持这一方法，我们创新性地开发了一个名为不可解数学文字问题（UMWP）的数据集，包含5200个问题，涵盖五个类别。我们开发了一种结合文本相似性和数学表达式检测的评估方法，以确定LLM是否认为问题不可解。对31个LLM（包括GPT-3、InstructGPT、LLaMA和Claude）进行的广泛实验表明，基于上下文学习和人类反馈的强化学习（RLHF）训练显著提高了模型避免幻觉的能力。我们展示了利用MWP评估幻觉的可靠性和有效性。我们的代码和数据可在https://github.com/Yuki-Asuuna/UMWP获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在问答任务中产生幻觉的问题，现有方法在处理模糊或不可解的问题时表现不佳，导致不可靠的推测。

核心思路：通过构建不可解数学问题（UMWP）数据集，结合文本相似性和数学表达式检测，评估LLM对问题的理解能力，判断其是否认为问题不可解。

技术框架：整体方法包括数据集构建、评估指标设计和实验验证三个主要模块。数据集包含5200个问题，评估指标结合了文本相似性和数学表达式的检测。

关键创新：创新性地提出了UMWP数据集和评估方法，为评估LLM的幻觉提供了新的视角和工具，与传统的评估方法相比，更加关注模型在处理不可解问题时的表现。

关键设计：在评估过程中，采用了文本相似性计算和数学表达式检测的组合，确保评估的全面性和准确性，同时在实验中使用了31个不同的LLM进行对比分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过上下文学习和人类反馈的强化学习训练后，LLM在识别不可解问题方面的能力显著提升，减少了幻觉的发生率。具体而言，某些模型的幻觉率降低了20%以上，显示出该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化客服等。通过有效评估和减少LLM的幻觉现象，可以提高这些系统的可靠性和用户体验，推动自然语言处理技术的进一步发展。

📄 摘要（原文）

Large language models (LLMs) are highly effective in various natural language processing (NLP) tasks. However, they are susceptible to producing unreliable conjectures in ambiguous contexts called hallucination. This paper presents a new method for evaluating LLM hallucination in Question Answering (QA) based on the unanswerable math word problem (MWP). To support this approach, we innovatively develop a dataset called Unanswerable Math Word Problem (UMWP) which comprises 5200 questions across five categories. We developed an evaluation methodology combining text similarity and mathematical expression detection to determine whether LLM considers the question unanswerable. The results of extensive experiments conducted on 31 LLMs, including GPT-3, InstructGPT, LLaMA, and Claude, demonstrate that in-context learning and reinforcement learning with human feedback (RLHF) training significantly enhance the model's ability to avoid hallucination. We show that utilizing MWP is a reliable and effective approach to assess hallucination. Our code and data are available at https://github.com/Yuki-Asuuna/UMWP.