Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering

📄 arXiv: 2402.09911v2 📥 PDF

作者: Jiaxiang Liu, Tong Zhou, Yubo Chen, Kang Liu, Jun Zhao

分类: cs.CL, cs.AI

发布日期: 2024-02-15 (更新: 2025-03-03)

💡 一句话要点

提出PG&AKV框架以解决大语言模型的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识图谱 开放式问答 伪图生成 原子知识验证 信息检索 智能问答

📋 核心要点

  1. 现有方法在处理大语言模型的幻觉问题时，未能有效应对未知事实的幻觉现象。
  2. 本文提出的PG&AKV框架通过伪图生成和原子知识验证相结合，旨在提升开放式问答的准确性和泛化能力。
  3. 实验结果表明，PG&AKV在开放式问题的ROUGE-L得分上至少提高11.5，精确回答问题的准确率提高7.5%。

📝 摘要（中文）

缓解大语言模型的幻觉问题是一个重要任务。现有方法虽然采用自增强技术，但在处理未知事实幻觉方面效果不佳。同时，知识图谱增强方法未能有效解决不同知识图谱源之间的泛化问题以及开放式问答的增强。为此，本文提出了一种结合伪图生成和原子知识验证的框架PG&AKV。该框架通过伪图生成提供相关知识框架，并利用原子知识查询和验证实现不同知识图谱源下的泛化。与基线相比，该方法在开放式问题的ROUGE-L得分上至少提高了11.5，精确回答问题的准确率提高了7.5%。此外，PG&AKV在不同知识图谱源之间也展现出良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决大语言模型在开放式问答中出现的幻觉问题，尤其是未知事实的幻觉现象。现有方法在自增强技术和知识图谱增强方面存在不足，无法有效实现不同知识图谱源之间的泛化。

核心思路：论文提出的PG&AKV框架结合伪图生成与原子知识验证，旨在通过构建相关知识框架和进行原子级知识验证来提升开放式问答的准确性和泛化能力。

技术框架：PG&AKV框架主要分为两个模块：伪图生成模块和原子知识验证模块。伪图生成模块负责构建与问题相关的知识图谱，而原子知识验证模块则通过查询和验证原子级知识来确保信息的准确性和泛化能力。

关键创新：PG&AKV的创新在于其结合了伪图生成与原子知识验证，解决了现有方法在不同知识图谱源之间的泛化问题，并有效提升了开放式问答的性能。

关键设计：在设计中，伪图生成模块采用了特定的图生成算法，而原子知识验证模块则使用了高效的知识查询机制，确保了在不同知识图谱源下的准确性和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PG&AKV框架在开放式问题的ROUGE-L得分上至少提高了11.5，精确回答问题的准确率提高了7.5%。此外，使用不同于问题源的知识图谱时，PG&AKV仍能实现至少3.5%的性能提升，展现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、知识检索和信息抽取等。通过提升大语言模型在开放式问答中的表现，PG&AKV框架能够为用户提供更准确和可靠的信息，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Mitigating the hallucinations of Large Language Models is a crucial task. Although some existing methods employ self-enhancement techniques, they fall short of effectively addressing unknown factual hallucinations. Meanwhile, Knowledge Graph (KG) enhancement approaches fail to address the generalization across different KG sources and the enhancement of open-ended answer questions simultaneously. To tackle these limitations, we propose a framework that combines Pseudo-Graph Generation and Atomic Knowledge Verification (PG\&AKV). Enhancement of open-ended question-answering begins with leveraging the Pseudo-Graph Generation to provide the related knowledge framework. Subsequently, Atomic Knowledge Verification utilizes atomic-level knowledge querying and verification to achieve generalizability under different KG sources. Compared to the baseline, this approach yields a minimum improvement of 11.5 in the ROUGE-L score for open-ended questions. For precise-answered questions, we observe a minimum accuracy improvement of 7.5%. Moreover, PG\&AKV also exhibits generalizability across different KG sources. Utilizing KG different from the question sources, PG\&AKV can even achieve at least a 3.5 % performance improvement. In summary, our results pave the way for enhancing LLMs by incorporating Pseudo- and Multisource-KGs, particularly in the filed of open-ended questions.