keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM

📄 arXiv: 2401.00426v1 📥 PDF

作者: Chaojie Wang, Yishi Xu, Zhong Peng, Chenxi Zhang, Bo Chen, Xinrun Wang, Lei Feng, Bo An

分类: cs.CL, cs.AI

发布日期: 2023-12-31

备注: 12 pages, 6 figures

💡 一句话要点

Keqing：基于知识的问答作为LLM的自然CoT导师，提升复杂问题回答的可靠性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱问答 大型语言模型 思维链 信息检索 知识推理

📋 核心要点

  1. 现有LLM在超出知识范围的问题上容易产生错误答案，缺乏可靠性。
  2. Keqing框架通过知识图谱检索和CoT推理，引导LLM生成更可靠的答案。
  3. 实验表明，Keqing在KBQA数据集上表现出色，并能解释答案的推理过程。

📝 摘要（中文）

大型语言模型（LLM）在各种自然语言处理（NLP）任务，特别是问答方面，表现出了卓越的性能。然而，面对超出知识范围的问题时，这些LLM往往会一本正经地胡说八道。潜在的解决方案是整合一个信息检索（IR）模块，并基于检索到的知识生成响应。本文提出了一个新颖的框架，旨在辅助LLM（如ChatGPT）在知识图谱上检索与问题相关的结构化信息，并证明基于知识的问答（Keqing）可以作为一种自然的思维链（CoT）导师，引导LLM通过可解释的逻辑链顺序地找到复杂问题的答案实体。具体来说，Keqing的工作流程包括：根据预定义的模板分解复杂问题，在知识图谱上检索候选实体，推理子问题的答案，最后生成带有推理路径的响应，从而大大提高了LLM响应的可靠性。在KBQA数据集上的实验结果表明，Keqing可以实现有竞争力的性能，并阐明回答每个问题的逻辑。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在知识库问答（KBQA）任务中，面对超出其固有知识范围的问题时，容易产生不准确甚至错误的答案的问题。现有方法通常依赖于LLM自身的参数化知识，当问题超出其知识范围时，LLM往往会生成不相关的或错误的答案。因此，如何提高LLM在处理复杂KBQA问题时的可靠性和准确性是一个关键挑战。

核心思路：论文的核心思路是将知识图谱（KG）与LLM相结合，利用KG提供外部知识，并通过思维链（Chain-of-Thought, CoT）的方式引导LLM进行推理。具体来说，Keqing框架首先将复杂问题分解为多个子问题，然后利用KG检索与子问题相关的实体和关系，最后利用LLM进行推理，生成最终答案。这种方法模仿了人类解决复杂问题的过程，即先理解问题，然后查找相关信息，最后进行推理和判断。

技术框架：Keqing框架包含以下几个主要模块：1) 问题分解模块：将复杂问题分解为多个子问题，每个子问题对应KG中的一个推理步骤。2) 知识检索模块：在KG中检索与子问题相关的候选实体和关系。3) 推理模块：利用LLM对检索到的实体和关系进行推理，生成子问题的答案。4) 答案生成模块：将子问题的答案组合起来，生成最终答案，并提供推理路径。整个流程类似于一个CoT的过程，LLM逐步推理，最终得到答案。

关键创新：Keqing的关键创新在于将知识图谱问答（KBQA）与思维链（CoT）推理相结合，提出了一种新的LLM辅助框架。与传统的KBQA方法相比，Keqing利用LLM的强大生成能力，可以生成更自然和可解释的答案。与直接使用LLM进行问答相比，Keqing通过KG提供外部知识，并利用CoT引导LLM进行推理，从而提高了答案的可靠性和准确性。

关键设计：Keqing框架的关键设计包括：1) 问题分解模板：预定义了一系列问题分解模板，用于将复杂问题分解为多个子问题。模板的选择会影响推理的效率和准确性。2) 知识检索策略：采用了多种知识检索策略，包括基于关键词的检索和基于语义相似度的检索，以提高检索的召回率和准确率。3) LLM提示工程：设计了有效的LLM提示，引导LLM进行推理，并生成可解释的答案。提示的设计需要考虑LLM的特性和KG的结构。

📊 实验亮点

论文在KBQA数据集上进行了实验，结果表明Keqing框架可以实现有竞争力的性能。具体来说，Keqing在多个数据集上取得了与现有方法相当甚至更好的结果，并且能够提供可解释的推理路径，这使得用户可以理解LLM是如何得出答案的。实验结果验证了Keqing框架的有效性和可靠性。

🎯 应用场景

Keqing框架可应用于各种需要知识库支持的问答场景，例如智能客服、医疗诊断、金融咨询等。通过提供更可靠和可解释的答案，可以提高用户满意度和信任度。未来，该框架可以扩展到更复杂的知识图谱和更强大的LLM，以解决更广泛的问题。

📄 摘要（原文）

Large language models (LLMs) have exhibited remarkable performance on various natural language processing (NLP) tasks, especially for question answering. However, in the face of problems beyond the scope of knowledge, these LLMs tend to talk nonsense with a straight face, where the potential solution could be incorporating an Information Retrieval (IR) module and generating response based on these retrieved knowledge. In this paper, we present a novel framework to assist LLMs, such as ChatGPT, to retrieve question-related structured information on the knowledge graph, and demonstrate that Knowledge-based question answering (Keqing) could be a nature Chain-of-Thought (CoT) mentor to guide the LLM to sequentially find the answer entities of a complex question through interpretable logical chains. Specifically, the workflow of Keqing will execute decomposing a complex question according to predefined templates, retrieving candidate entities on knowledge graph, reasoning answers of sub-questions, and finally generating response with reasoning paths, which greatly improves the reliability of LLM's response. The experimental results on KBQA datasets show that Keqing can achieve competitive performance and illustrate the logic of answering each question.