Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers

📄 arXiv: 2311.09000v3 📥 PDF

作者: Yuxia Wang, Revanth Gangi Reddy, Zain Muhammad Mujahid, Arnav Arora, Aleksandr Rubashevskii, Jiahui Geng, Osama Mohammed Afzal, Liangming Pan, Nadav Borenstein, Aditya Pillai, Isabelle Augenstein, Iryna Gurevych, Preslav Nakov

分类: cs.CL

发布日期: 2023-11-15 (更新: 2024-04-16)

备注: 30 pages, 13 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Factcheck-Bench以解决自动事实核查的评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实核查 大型语言模型 多阶段标注 文档级评估 自动化工具

📋 核心要点

  1. 现有的自动事实核查工具在识别大型语言模型生成的虚假声明时表现不佳，准确性亟待提高。
  2. 本文提出了一种多阶段的标注方案，旨在全面评估LLM输出的事实性，提供细粒度的标签信息。
  3. 初步实验结果显示，使用新标注方案的工具在识别虚假声明方面取得了显著提升，F1分数达到了0.63。

📝 摘要（中文）

随着大型语言模型（LLMs）在各种实际应用中的广泛使用，验证其输出的事实准确性变得尤为重要。本文提出了一种全面的端到端解决方案，用于对LLM生成的响应进行事实性标注，采用多阶段标注方案，以提供关于可验证性和事实不一致性的详细标签。此外，构建了一个开放领域的文档级事实性基准，涵盖三层粒度：声明、句子和文档，旨在促进自动事实核查系统的评估。初步实验表明，现有工具在识别虚假声明方面存在困难，基于GPT-4的标注解决方案取得了最佳F1=0.63的结果。

🔬 方法详解

问题定义：本文旨在解决现有自动事实核查工具在识别大型语言模型生成的虚假声明时的不足，尤其是在准确性和细粒度评估方面的挑战。

核心思路：提出了一种多阶段的标注方案，结合文档级事实性基准，以便更全面地评估和标注LLM输出的事实性，确保标注的细致与准确。

技术框架：整体架构包括三个主要模块：首先是声明级标注，接着是句子级标注，最后是文档级标注，形成一个层次分明的评估体系。

关键创新：最重要的创新在于多层次的标注方案，使得事实核查不仅限于单一层面，而是从多个维度进行综合评估，显著提升了核查的准确性和细致性。

关键设计：在设计中，采用了基于GPT-4的标注工具，结合特定的损失函数和参数设置，以优化标注过程的效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用新标注方案的工具在识别虚假声明方面表现出色，最佳F1分数达到了0.63，显著高于现有工具的表现，表明该方法在事实核查领域的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括新闻媒体、社交网络和在线内容平台等，能够有效提升信息的真实性验证能力，减少虚假信息的传播。未来，该基准和工具可用于推动自动化事实核查技术的发展，提升公众对信息的信任度。

📄 摘要（原文）

The increased use of large language models (LLMs) across a variety of real-world applications calls for mechanisms to verify the factual accuracy of their outputs. In this work, we present a holistic end-to-end solution for annotating the factuality of LLM-generated responses, which encompasses a multi-stage annotation scheme designed to yield detailed labels concerning the verifiability and factual inconsistencies found in LLM outputs. We further construct an open-domain document-level factuality benchmark in three-level granularity: claim, sentence and document, aiming to facilitate the evaluation of automatic fact-checking systems. Preliminary experiments show that FacTool, FactScore and Perplexity.ai are struggling to identify false claims, with the best F1=0.63 by this annotation solution based on GPT-4. Annotation tool, benchmark and code are available at https://github.com/yuxiaw/Factcheck-GPT.