Harnessing Multi-Role Capabilities of Large Language Models for Open-Domain Question Answering

📄 arXiv: 2403.05217v1 📥 PDF

作者: Hongda Sun, Yuxuan Liu, Chengwei Wu, Haiyu Yan, Cheng Tai, Xin Gao, Shuo Shang, Rui Yan

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-03-08

备注: TheWebConf 2024 (WWW 2024) oral, code repo: https://github.com/EthanLeo-LYX/LLMQA

💡 一句话要点

提出LLMQA框架以解决开放域问答中的证据收集问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放域问答 大型语言模型 证据收集 查询扩展 文档选择 答案生成 提示优化

📋 核心要点

  1. 现有的开放域问答方法在证据收集上存在不足，无法满足多样化的需求。
  2. 本文提出LLMQA框架，通过查询扩展、文档选择和答案生成三个步骤，结合检索和生成的优势。
  3. 在多个基准数据集上，LLMQA在答案准确性和证据质量上均取得了最佳性能，显示出显著提升。

📝 摘要（中文）

开放域问答（ODQA）已成为信息系统研究的关键领域。现有方法主要分为两种范式：检索后阅读和生成后阅读，但均无法完全满足证据的多样化需求。为此，本文提出了LLMQA框架，将ODQA过程分为查询扩展、文档选择和答案生成三个基本步骤，结合了检索和生成的优势。通过指引大型语言模型（LLMs）扮演生成器、重排序器和评估器等多重角色，本文优化了角色扮演的提示，提升了证据和答案的质量。实验结果表明，LLMQA在多个基准数据集上表现优异，展示了其在ODQA研究和应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决开放域问答中证据收集的多样性和准确性问题。现有的检索后阅读和生成后阅读方法各有局限，无法全面满足用户需求。

核心思路：LLMQA框架通过将ODQA过程分为查询扩展、文档选择和答案生成三个步骤，充分利用大型语言模型的多角色能力，提升证据的质量和答案的准确性。

技术框架：整体架构包括三个主要模块：查询扩展模块负责生成更丰富的查询，文档选择模块从外部语料库中检索相关文档，答案生成模块则基于选择的文档生成最终答案。

关键创新：最重要的创新在于引入了多角色的LLMs，分别作为生成器、重排序器和评估器，形成协同工作机制，显著提升了ODQA的效果。

关键设计：在提示优化方面，设计了一种新颖的算法，以精细调整角色扮演的提示，确保LLMs能够生成高质量的证据和答案。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NQ、WebQ和TriviaQA等多个基准数据集上，LLMQA框架的实验结果显示出最佳的答案准确性和证据质量，相较于现有方法，性能提升幅度显著，展示了其在开放域问答领域的领先地位。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、客户服务自动化、教育辅助工具等。通过提升开放域问答的准确性和效率，LLMQA框架能够为用户提供更为精准的信息检索服务，具有广泛的实际价值和深远的未来影响。

📄 摘要（原文）

Open-domain question answering (ODQA) has emerged as a pivotal research spotlight in information systems. Existing methods follow two main paradigms to collect evidence: (1) The \textit{retrieve-then-read} paradigm retrieves pertinent documents from an external corpus; and (2) the \textit{generate-then-read} paradigm employs large language models (LLMs) to generate relevant documents. However, neither can fully address multifaceted requirements for evidence. To this end, we propose LLMQA, a generalized framework that formulates the ODQA process into three basic steps: query expansion, document selection, and answer generation, combining the superiority of both retrieval-based and generation-based evidence. Since LLMs exhibit their excellent capabilities to accomplish various tasks, we instruct LLMs to play multiple roles as generators, rerankers, and evaluators within our framework, integrating them to collaborate in the ODQA process. Furthermore, we introduce a novel prompt optimization algorithm to refine role-playing prompts and steer LLMs to produce higher-quality evidence and answers. Extensive experimental results on widely used benchmarks (NQ, WebQ, and TriviaQA) demonstrate that LLMQA achieves the best performance in terms of both answer accuracy and evidence quality, showcasing its potential for advancing ODQA research and applications.