Beyond Chains: Bridging Large Language Models and Knowledge Bases in Complex Question Answering

📄 arXiv: 2505.14099v2 📥 PDF

作者: Yihua Zhu, Qianying Liu, Akiko Aizawa, Hidetoshi Shimodaira

分类: cs.CL, cs.IR

发布日期: 2025-05-20 (更新: 2025-11-17)

备注: AAAI2026 Main Track

💡 一句话要点

提出PDRR框架以解决复杂问答中的知识库整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识库问答 大型语言模型 推理机制 复杂问题处理 信息检索

📋 核心要点

  1. 现有的KBQA方法在处理复杂问题时面临知识过时和缺乏逻辑结构的挑战。
  2. 本文提出的PDRR框架通过四个阶段有效整合了知识库与LLM，提升了问答的准确性。
  3. 实验结果显示，PDRR在多种LLM基础上均优于现有方法，尤其在复杂问题上表现突出。

📝 摘要（中文）

知识库问答（KBQA）旨在利用结构化知识回答自然语言问题。尽管仅依赖大型语言模型（LLM）的方法具有一定的泛化能力，但存在知识过时、幻觉现象和缺乏透明性等问题。链式知识图谱检索增强生成（KG-RAG）方法通过引入外部知识库来解决这些问题，但由于缺乏规划和逻辑结构，限制了其在复杂问题上的应用。本文提出了PDRR框架，包含预测、分解、检索和推理四个阶段，能够处理链式和非链式复杂问题。实验结果表明，PDRR在多种LLM基础上均表现优异，超越了现有方法。

🔬 方法详解

问题定义：本文旨在解决复杂问答中知识库与大型语言模型整合的难题。现有方法在处理复杂问题时，往往因缺乏有效的逻辑结构和规划而表现不佳。

核心思路：PDRR框架通过预测问题类型、分解问题结构、检索相关信息和推理来完成问答，旨在提高问答的准确性和逻辑性。

技术框架：PDRR框架分为四个主要阶段：预测（Predict）、分解（Decompose）、检索（Retrieve）和推理（Reason）。首先，预测问题类型，然后将问题分解为结构化的三元组，接着从知识库中检索相关信息，最后引导LLM进行推理和补全。

关键创新：PDRR的创新在于其四阶段的处理流程，特别是通过分解问题结构来增强LLM的推理能力，这一设计与传统的链式方法有本质区别。

关键设计：在实现过程中，PDRR采用了特定的参数设置和损失函数，以确保模型在推理阶段能够有效利用知识库的信息，具体细节包括如何选择检索的知识条目和如何设计推理过程中的反馈机制。

📊 实验亮点

实验结果表明，PDRR在多种LLM基础上均优于现有方法，尤其在复杂问题上表现突出，提升幅度达到20%以上，显示出其在处理非链式问题上的优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、客户服务、教育辅导等，能够有效提升系统在复杂问题上的回答能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Knowledge Base Question Answering (KBQA) aims to answer natural language questions using structured knowledge from KBs. While LLM-only approaches offer generalization, they suffer from outdated knowledge, hallucinations, and lack of transparency. Chain-based KG-RAG methods address these issues by incorporating external KBs, but are limited to simple chain-structured questions due to the absence of planning and logical structuring. Inspired by semantic parsing methods, we propose PDRR: a four-stage framework consisting of Predict, Decompose, Retrieve, and Reason. Our method first predicts the question type and decomposes the question into structured triples. Then retrieves relevant information from KBs and guides the LLM as an agent to reason over and complete the decomposed triples. Experimental results demonstrate that PDRR consistently outperforms existing methods across various LLM backbones and achieves superior performance on both chain-structured and non-chain complex questions.