A Step Closer to Comprehensive Answers: Constrained Multi-Stage Question Decomposition with Large Language Models

📄 arXiv: 2311.07491v1 📥 PDF

作者: Hejing Cao, Zhenwei An, Jiazhan Feng, Kun Xu, Liwei Chen, Dongyan Zhao

分类: cs.CL

发布日期: 2023-11-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出D&Q框架以解决多跳问题的回答准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 问答系统 多跳问题 外部知识 问题分解 模型优化 幻觉现象 智能问答

📋 核心要点

  1. 现有大型语言模型在处理复杂多跳问题时，容易产生幻觉，导致回答不准确。
  2. 本文提出的D&Q框架，通过分解问题并查询外部知识，限制模型思维在可靠信息范围内。
  3. 实验结果显示，D&Q在多个数据集上表现优异，尤其在HotPotQA上取得了59.6%的F1分数。

📝 摘要（中文）

尽管大型语言模型在问答任务中表现出色，但它们容易出现幻觉现象，尤其在处理复杂问题的多跳关系时，常常缺乏必要的知识以提供全面的回答。为了解决这一问题，本文提出了“分解与查询”（D&Q）框架，该框架引导模型思考并利用外部知识，同时限制其思维范围在可靠信息内，从而有效降低幻觉风险。实验结果表明，在ChitChatQA数据集上，D&Q在67%的情况下不逊色于ChatGPT；在HotPotQA问题仅设置中，D&Q达到了59.6%的F1分数。代码可在https://github.com/alkaidpku/DQ-ToolQA获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多跳问答中产生幻觉的问题，现有方法在处理复杂问题时常常缺乏必要的知识，导致回答不全面或不准确。

核心思路：D&Q框架通过分解复杂问题为多个子问题，并引导模型查询外部知识，确保模型的思考过程受到可靠信息的限制，从而降低幻觉的风险。

技术框架：D&Q框架主要包括两个阶段：第一阶段是问题分解，将复杂问题拆解为多个简单子问题；第二阶段是查询外部知识，结合子问题进行回答生成。

关键创新：D&Q框架的创新之处在于其结合了问题分解与外部知识查询的策略，有效地限制了模型的思维范围，避免了幻觉现象的发生，这与传统的单一模型回答方式有本质区别。

关键设计：在D&Q框架中，设计了特定的损失函数以优化模型在子问题上的表现，并采用了多层次的网络结构以增强模型对外部知识的利用能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，D&Q框架在ChitChatQA数据集上与ChatGPT相比，在67%的情况下表现相当；在HotPotQA问题仅设置中，D&Q达到了59.6%的F1分数，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育辅助工具和客户服务自动化等。通过提高模型在复杂问题上的回答准确性，D&Q框架能够为用户提供更可靠的信息支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

While large language models exhibit remarkable performance in the Question Answering task, they are susceptible to hallucinations. Challenges arise when these models grapple with understanding multi-hop relations in complex questions or lack the necessary knowledge for a comprehensive response. To address this issue, we introduce the "Decompose-and-Query" framework (D&Q). This framework guides the model to think and utilize external knowledge similar to ReAct, while also restricting its thinking to reliable information, effectively mitigating the risk of hallucinations. Experiments confirm the effectiveness of D&Q: On our ChitChatQA dataset, D&Q does not lose to ChatGPT in 67% of cases; on the HotPotQA question-only setting, D&Q achieved an F1 score of 59.6%. Our code is available at https://github.com/alkaidpku/DQ-ToolQA.