Are Large Language Models Reliable Judges? A Study on the Factuality Evaluation Capabilities of LLMs

📄 arXiv: 2311.00681v1 📥 PDF

作者: Xue-Yong Fu, Md Tahmid Rahman Laskar, Cheng Chen, Shashi Bhushan TN

分类: cs.CL

发布日期: 2023-11-01

备注: accepted by Generation, Evaluation & Metrics (GEM) Workshop at EMNLP 2023

💡 一句话要点

提出基于LLM的事实一致性评估方法以解决文本生成模型的评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实一致性 文本生成 评估方法 机器学习

📋 核心要点

  1. 现有方法在使用LLMs进行文本生成模型的事实一致性评估时，存在显著的相关性不足，尤其是对于最新的模型如GPT-4和PaLM-2。
  2. 论文提出了一种创新的事实评估方法，使用单一的LLM进行整个问答基础的事实评分过程，旨在提高评估的可靠性。
  3. 实验结果显示，GPT-4和PaLM-2与人类评估之间缺乏显著相关性，而GPT-3.5在某些子类别中表现出一定的相关性，揭示了LLMs的局限性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）因其显著的突现能力而备受关注，尤其是在评估生成模型文本方面的应用。本研究探讨了LLMs作为文本摘要事实一致性评估者的潜力。我们提出了一种创新的方法，利用单一LLM进行基于问答的事实评分。研究结果表明，GPT-4和PaLM-2与人类评估之间缺乏显著相关性，而GPT-3.5在两个事实子类别中表现出了一定的相关性。这些发现揭示了当前LLMs在准确评估事实一致性方面的基本局限性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在评估生成文本的事实一致性时的可靠性问题。现有方法在这一领域的有效性不足，尤其是在与人类评估的相关性方面存在显著差距。

核心思路：我们提出了一种新的事实评估方法，利用单一的LLM来进行整个问答基础的事实评分过程。这种设计旨在简化评估流程并提高一致性。

技术框架：整体架构包括数据输入、LLM处理、问答生成和事实评分四个主要模块。首先，输入文本摘要，然后通过LLM生成问题，最后进行事实一致性评分。

关键创新：本研究的关键创新在于使用单一LLM进行全面的事实评估，而不是依赖多个模型或传统评估方法。这种方法在评估一致性方面提供了新的视角。

关键设计：在参数设置上，我们对LLM的输入格式进行了优化，以确保生成的问题能够有效反映文本的事实内容。同时，损失函数设计上注重于提高与人类评估的一致性。整体网络结构保持简洁，以便于快速迭代和评估。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，GPT-4和PaLM-2与人类评估之间缺乏显著相关性，而GPT-3.5在两个事实子类别中表现出一定的相关性。这些发现表明，当前LLMs在事实一致性评估方面存在基本局限性，提示了未来改进的方向。

🎯 应用场景

该研究的潜在应用领域包括文本生成、自动摘要和信息检索等。通过提高LLMs在事实一致性评估中的可靠性，可以为生成模型的应用提供更为准确的评估标准，从而提升生成内容的质量和可信度。未来，随着LLMs的不断发展，这一方法可能会在更多领域中得到应用，推动智能文本处理技术的进步。

📄 摘要（原文）

In recent years, Large Language Models (LLMs) have gained immense attention due to their notable emergent capabilities, surpassing those seen in earlier language models. A particularly intriguing application of LLMs is their role as evaluators for texts produced by various generative models. In this study, we delve into the potential of LLMs as reliable assessors of factual consistency in summaries generated by text-generation models. Initially, we introduce an innovative approach for factuality assessment using LLMs. This entails employing a singular LLM for the entirety of the question-answering-based factuality scoring process. Following this, we examine the efficacy of various LLMs in direct factuality scoring, benchmarking them against traditional measures and human annotations. Contrary to initial expectations, our results indicate a lack of significant correlations between factuality metrics and human evaluations, specifically for GPT-4 and PaLM-2. Notable correlations were only observed with GPT-3.5 across two factuality subcategories. These consistent findings across various factual error categories suggest a fundamental limitation in the current LLMs' capability to accurately gauge factuality. This version presents the information more concisely while maintaining the main points and findings of the original text.