UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models

📄 arXiv: 2402.14690v1 📥 PDF

作者: Zhaoheng Huang, Zhicheng Dou, Yutao Zhu, Ji-rong Wen

分类: cs.CL

发布日期: 2024-02-22

备注: under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出UFO框架以解决大型语言模型事实性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实性评估 大型语言模型 UFO框架 信息检索 问答系统 内容生成 自然语言处理

📋 核心要点

  1. 现有评估方法依赖特定的事实源，缺乏可扩展性，且不同任务中的事实源可替代性未被充分研究。
  2. 提出UFO框架，能够灵活地验证事实，支持多种事实源的插拔式使用，提升评估的通用性。
  3. 实验结果显示，在问答任务中，人类撰写的证据和参考文献是关键，而在新闻事实生成任务中，搜索引擎结果和LLM知识同样重要。

📝 摘要（中文）

大型语言模型（LLMs）可能生成与人类知识不一致的文本，导致事实不准确或称为“幻觉”。现有的评估方法主要依赖于从LLM中提取事实声明并与预定义的事实源进行验证，但这些评估指标往往是任务特定的，缺乏可扩展性，且不同任务中事实源的可替代性尚未得到充分探索。为了解决这些挑战，本文将现有的四种事实源进行分类，并提出了一个统一且灵活的评估框架UFO，能够针对可插拔的事实源进行事实验证。实验结果表明，在大多数问答任务中，人类撰写的证据和参考文献至关重要，并且在检索增强的问答任务中可以相互替代。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成文本的事实性评估问题，现有方法的痛点在于评估指标的任务特定性和缺乏可扩展性。

核心思路：论文提出的UFO框架通过分类四种事实源（人类撰写的证据、参考文献、搜索引擎结果和LLM知识），实现对事实的灵活验证，增强评估的通用性和适应性。

技术框架：UFO框架包括多个模块，首先从LLM中提取事实声明，然后根据不同的任务场景选择合适的事实源进行验证，最后输出评估结果。

关键创新：UFO框架的创新在于其统一性和灵活性，能够支持多种事实源的插拔式使用，解决了现有方法中对特定事实源的依赖问题。

关键设计：在设计中，框架允许用户根据任务需求选择不同的事实源，并通过实验验证了不同源在各类任务中的有效性和可替代性。具体的参数设置和损失函数设计在实验中进行了详细的探讨。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在大多数问答任务中，人类撰写的证据和参考文献对评估至关重要，并且在检索增强的问答任务中可以相互替代。在新闻事实生成任务中，搜索引擎结果和LLM知识同样发挥了重要作用，验证了UFO框架的有效性和灵活性。

🎯 应用场景

UFO框架在多个领域具有广泛的应用潜力，尤其是在问答系统、信息检索和内容生成等场景中。通过提供灵活的事实验证机制，该框架能够提升模型生成内容的准确性和可靠性，进而增强用户体验和信任度。未来，UFO框架还可以扩展到更多的自然语言处理任务中，推动相关技术的发展。

📄 摘要（原文）

Large language models (LLMs) may generate text that lacks consistency with human knowledge, leading to factual inaccuracies or \textit{hallucination}. Existing research for evaluating the factuality of LLMs involves extracting fact claims using an LLM and verifying them against a predefined fact source. However, these evaluation metrics are task-specific, and not scalable, and the substitutability of fact sources in different tasks is under-explored. To address these challenges, we categorize four available fact sources: human-written evidence, reference documents, search engine results, and LLM knowledge, along with five text generation tasks containing six representative datasets. Then, we propose \texttt{UFO}, an LLM-based unified and flexible evaluation framework to verify facts against plug-and-play fact sources. We implement five evaluation scenarios based on this framework. Experimental results show that for most QA tasks, human-written evidence and reference documents are crucial, and they can substitute for each other in retrieval-augmented QA tasks. In news fact generation tasks, search engine results and LLM knowledge are essential. Our dataset and code are available at \url{https://github.com/WaldenRUC/UFO}.