Dr3: Ask Large Language Models Not to Give Off-Topic Answers in Open Domain Multi-Hop Question Answering

📄 arXiv: 2403.12393v1 📥 PDF

作者: Yuan Gao, Yiheng Zhu, Yuanbin Cao, Yinzhi Zhou, Zhen Wu, Yujie Chen, Shenglan Wu, Haoyuan Hu, Xinyu Dai

分类: cs.CL

发布日期: 2024-03-19

备注: LREC-COLING 2024, Long Paper

💡 一句话要点

提出Dr3机制以解决开放域多跳问答中的离题回答问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放域问答 多跳推理 大型语言模型 离题答案 自然语言处理

📋 核心要点

  1. 现有方法在开放域多跳问答中容易生成离题答案，导致大量错误答案，影响整体性能。
  2. 本文提出的Dr3机制通过判别、修正和重新推理的步骤，有效解决了离题答案的问题。
  3. 在HotpotQA和2WikiMultiHopQA数据集上的实验表明，Dr3机制将离题答案的发生率降低了近13%，并提升了EM性能近3%。

📝 摘要（中文）

开放域多跳问答（ODMHQA）在自然语言处理（NLP）中扮演着重要角色，旨在通过对外部知识源的信息进行多步推理来回答复杂问题。尽管大型语言模型（LLMs）在解决ODMHQA方面表现出色，但它们在生成答案时可能会出现离题现象，导致约三分之一的错误答案。为了解决这一问题，本文提出了Discriminate->Re-Compose->Re-Solve->Re-Decompose（Dr3）机制。该机制通过判别器判断生成的答案是否离题，并在发现离题答案时，通过逐步修正推理链，直到最终答案变得相关。实验结果表明，Dr3机制显著减少了离题答案的出现，提升了准确匹配率（EM）近3%。

🔬 方法详解

问题定义：本文旨在解决开放域多跳问答中生成离题答案的问题。现有方法在处理复杂问题时，常常无法保持答案的相关性，导致错误率高达三分之一。

核心思路：论文提出的Dr3机制通过引入判别器来识别离题答案，并通过逐步修正推理链来确保最终答案的相关性。这种设计旨在利用LLMs的内在能力，提高答案的准确性。

技术框架：Dr3机制包括四个主要阶段：判别（Discriminate）、重新组合（Re-Compose）、重新解决（Re-Solve）和重新分解（Re-Decompose）。首先，判别器判断生成的答案是否离题；若离题，则通过修正步骤逐步调整答案，直到得到相关答案。

关键创新：Dr3机制的创新在于其系统性地处理离题答案问题，通过判别和逐步修正的方式，显著提高了答案的相关性。这与现有方法的单一生成策略形成鲜明对比。

关键设计：在实现过程中，判别器的设计依赖于LLMs的推理能力，修正过程则采用了逐步的链式推理方法，确保每一步都能有效地调整答案的相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Dr3机制在HotpotQA和2WikiMultiHopQA数据集上显著降低了离题答案的发生率，减少幅度近13%。同时，准确匹配率（EM）提升近3%，相较于未使用Dr3机制的基线方法，表现出明显的性能改进。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、虚拟助手和信息检索等。通过提高开放域多跳问答的准确性，Dr3机制能够显著提升用户体验，帮助用户更有效地获取信息。未来，该机制还可扩展至其他NLP任务，如对话系统和文本生成等。

📄 摘要（原文）

Open Domain Multi-Hop Question Answering (ODMHQA) plays a crucial role in Natural Language Processing (NLP) by aiming to answer complex questions through multi-step reasoning over retrieved information from external knowledge sources. Recently, Large Language Models (LLMs) have demonstrated remarkable performance in solving ODMHQA owing to their capabilities including planning, reasoning, and utilizing tools. However, LLMs may generate off-topic answers when attempting to solve ODMHQA, namely the generated answers are irrelevant to the original questions. This issue of off-topic answers accounts for approximately one-third of incorrect answers, yet remains underexplored despite its significance. To alleviate this issue, we propose the Discriminate->Re-Compose->Re- Solve->Re-Decompose (Dr3) mechanism. Specifically, the Discriminator leverages the intrinsic capabilities of LLMs to judge whether the generated answers are off-topic. In cases where an off-topic answer is detected, the Corrector performs step-wise revisions along the reversed reasoning chain (Re-Compose->Re-Solve->Re-Decompose) until the final answer becomes on-topic. Experimental results on the HotpotQA and 2WikiMultiHopQA datasets demonstrate that our Dr3 mechanism considerably reduces the occurrence of off-topic answers in ODMHQA by nearly 13%, improving the performance in Exact Match (EM) by nearly 3% compared to the baseline method without the Dr3 mechanism.