FanOutQA: A Multi-Hop, Multi-Document Question Answering Benchmark for Large Language Models

📄 arXiv: 2402.14116v2 📥 PDF

作者: Andrew Zhu, Alyssa Hwang, Liam Dugan, Chris Callison-Burch

分类: cs.CL, cs.AI

发布日期: 2024-02-21 (更新: 2024-06-06)

备注: 18 pages, 2 figures. ACL 2024

💡 一句话要点

提出FanOutQA以评估大型语言模型的多跳多文档问答能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多跳推理 多文档问答 大型语言模型 数据集构建 自然语言处理

📋 核心要点

  1. 现有方法在处理复杂的多跳、多文档推理问题时，缺乏有效的评估资源，导致模型能力无法全面评估。
  2. 本文提出FanOutQA数据集，包含fan-out问答对及其人类标注的分解，旨在提升对大型语言模型推理能力的评估。
  3. 实验结果表明，当前的语言模型在处理文档间依赖推理时仍有提升空间，提供了未来改进的方向。

📝 摘要（中文）

在日常场景中，常见的“fan-out”问题是复杂的多跳、多文档推理问题，涉及大量实体的信息检索。然而，目前缺乏评估大型语言模型在此类问答能力的资源。为此，本文提出FanOutQA，一个高质量的fan-out问答对和人类标注的分解数据集，以英语维基百科作为知识基础。我们在数据集上制定了三种基准设置，并对包括GPT-4、LLaMA 2、Claude-2.1和Mixtral-8x7B在内的7个大型语言模型进行了基准测试，发现当前模型在长上下文中的文档间依赖推理能力仍有提升空间。我们提供了数据集和开源工具以促进评估。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多跳、多文档问答中的推理能力评估不足的问题。现有方法缺乏针对复杂问题的专门数据集，导致模型性能评估不全面。

核心思路：提出FanOutQA数据集，包含多种fan-out问答对及其分解，利用英语维基百科作为知识基础，以便更好地评估模型的推理能力。

技术框架：数据集构建包括问答对的生成和人类标注的分解，设置了三种基准测试场景，涵盖不同复杂度的推理任务。

关键创新：FanOutQA是首个专门针对多跳、多文档推理问题的高质量数据集，填补了现有评估资源的空白，推动了大型语言模型的研究。

关键设计：数据集中的问答对经过精心设计，确保覆盖多种实体和关系，标注过程采用了严格的标准，以提高数据的质量和可靠性。实验中使用的模型包括GPT-4等，评估了它们在长上下文中的推理能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，基于FanOutQA数据集的评估中，当前的语言模型在处理多跳推理时的表现仍有显著提升空间，尤其是在文档间依赖推理方面。具体而言，模型在长上下文中的推理能力较弱，提示了未来改进的方向。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、信息检索、知识图谱构建等。通过提升大型语言模型在复杂推理任务中的表现，FanOutQA有助于推动自然语言处理技术的发展，提升人机交互的智能化水平。

📄 摘要（原文）

One type of question that is commonly found in day-to-day scenarios is ``fan-out'' questions, complex multi-hop, multi-document reasoning questions that require finding information about a large number of entities. However, there exist few resources to evaluate this type of question-answering capability among large language models. To evaluate complex reasoning in LLMs more fully, we present FanOutQA, a high-quality dataset of fan-out question-answer pairs and human-annotated decompositions with English Wikipedia as the knowledge base. We formulate three benchmark settings across our dataset and benchmark 7 LLMs, including GPT-4, LLaMA 2, Claude-2.1, and Mixtral-8x7B, finding that contemporary models still have room to improve reasoning over inter-document dependencies in a long context. We provide our dataset and open-source tools to run models to encourage evaluation at https://fanoutqa.com