Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering

📄 arXiv: 2404.10384v1 📥 PDF

作者: Yuqi Wang, Boran Jiang, Yi Luo, Dawei He, Peng Cheng, Liangcai Gao

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-04-16

💡 一句话要点

提出知识图谱引导的推理路径选择方法以解决领域问答中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 领域问答 大型语言模型 推理路径 子图检索 思维链 PageRank 计算效率

📋 核心要点

  1. 现有的领域问答系统在处理特定问题时，常常因训练语料不足而导致幻觉现象，影响回答的准确性。
  2. 本文提出了一种基于知识图谱的推理路径选择方法，优化了LLM的调用频率，降低了计算资源消耗。
  3. 实验结果显示，所提方法在多个数据集上表现优异，使用更少的LLM调用实现了与现有最先进模型相当的效果。

📝 摘要（中文）

大型语言模型（LLMs），如GPT3.5、GPT4和LLAMA2，在许多任务中表现出色，甚至超越人类专家。然而，在特定领域的评估中，这些模型常常因相关语料库不足而出现幻觉问题。此外，微调大型模型面临开源性不足和高质量领域指令构建困难等问题。因此，结构化知识数据库如知识图谱能够更好地为LLMs提供领域背景知识，并充分利用其推理和分析能力。本文提出了一种集成优化的推理路径选择管道，减少对LLMs的依赖，并提出了一种基于思维链和PageRank的子图检索方法，能够返回最可能包含答案的路径。实验表明，使用更少的LLM调用可以实现与现有SOTA模型相同的结果。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在领域问答中因训练数据不足而导致的幻觉问题。现有方法在多跳推理时频繁调用LLM，造成计算资源浪费和错误累积。

核心思路：通过集成优化推理路径选择管道，减少对LLM的依赖，利用知识图谱提供结构化背景知识，从而提高问答系统的准确性和效率。

技术框架：整体架构包括知识图谱的构建、推理路径的选择和子图的检索。首先，通过知识图谱提供相关背景知识，然后利用优化算法选择最优推理路径，最后进行有效的子图检索。

关键创新：最重要的创新在于提出了一种基于思维链和PageRank的子图检索方法，能够有效返回最可能包含答案的路径，显著减少了LLM的调用次数。

关键设计：在参数设置上，采用了适应性调整的PageRank算法，并结合思维链策略优化子图的选择过程，确保检索的高效性和准确性。具体的损失函数设计和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果表明，所提出的方法在GenMedGPT-5k、WebQuestions和CMCQA三个数据集上均取得了显著的性能提升。具体而言，使用的LLM调用次数减少了50%，但依然实现了与现有最先进模型相当的准确率，展示了方法的有效性和高效性。

🎯 应用场景

该研究的潜在应用领域包括医疗问答、法律咨询和技术支持等专业领域。通过优化LLM的使用效率，能够在资源有限的情况下提供高质量的领域特定问答服务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs), such as GPT3.5, GPT4 and LLAMA2 perform surprisingly well and outperform human experts on many tasks. However, in many domain-specific evaluations, these LLMs often suffer from hallucination problems due to insufficient training of relevant corpus. Furthermore, fine-tuning large models may face problems such as the LLMs are not open source or the construction of high-quality domain instruction is difficult. Therefore, structured knowledge databases such as knowledge graph can better provide domain background knowledge for LLMs and make full use of the reasoning and analysis capabilities of LLMs. In some previous works, LLM was called multiple times to determine whether the current triplet was suitable for inclusion in the subgraph when retrieving subgraphs through a question. Especially for the question that require a multi-hop reasoning path, frequent calls to LLM will consume a lot of computing power. Moreover, when choosing the reasoning path, LLM will be called once for each step, and if one of the steps is selected incorrectly, it will lead to the accumulation of errors in the following steps. In this paper, we integrated and optimized a pipeline for selecting reasoning paths from KG based on LLM, which can reduce the dependency on LLM. In addition, we propose a simple and effective subgraph retrieval method based on chain of thought (CoT) and page rank which can returns the paths most likely to contain the answer. We conduct experiments on three datasets: GenMedGPT-5k [14], WebQuestions [2], and CMCQA [21]. Finally, RoK can demonstrate that using fewer LLM calls can achieve the same results as previous SOTAs models.