KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion

📄 arXiv: 2402.02389v2 📥 PDF

作者: Yanbin Wei, Qiushi Huang, James T. Kwok, Yu Zhang

分类: cs.CL, cs.AI

发布日期: 2024-02-04 (更新: 2024-02-23)

备注: Accepted to EMNLP 2023 Findings

DOI: 10.18653/v1/2023.findings-emnlp.580

💡 一句话要点

提出KICGPT以解决知识图谱补全中的长尾问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 知识补全 长尾问题 大型语言模型 上下文学习 知识提示 三元组检索

📋 核心要点

  1. 现有的知识图谱补全方法在处理长尾实体时存在结构信息不足和实体分布不均的问题。
  2. KICGPT框架结合了大型语言模型和基于三元组的检索器，采用知识提示策略来引导模型学习。
  3. 实验结果显示，KICGPT在多个基准数据集上表现优异，训练开销更小且无需微调，提升了效率。

📝 摘要（中文）

知识图谱补全（KGC）对于解决知识图谱的不完整性至关重要，并支持下游应用。现有的KGC模型主要分为基于三元组和基于文本的方法。基于三元组的方法在处理长尾实体时面临结构信息有限和实体分布不均的问题，而基于文本的方法虽然缓解了这一问题，但需要昂贵的语言模型训练和特定的知识图谱微调，降低了效率。为了解决这些局限性，本文提出了KICGPT框架，集成了大型语言模型（LLM）和基于三元组的KGC检索器，能够在不增加额外训练开销的情况下缓解长尾问题。KICGPT采用了一种称为知识提示的上下文学习策略，将结构知识编码为示例以指导LLM。实验证明，KICGPT在基准数据集上表现出色，训练开销更小且无需微调。

🔬 方法详解

问题定义：本文旨在解决知识图谱补全中的长尾实体问题，现有方法在处理这些实体时面临结构信息不足和实体分布不均的挑战。

核心思路：KICGPT通过结合大型语言模型和基于三元组的检索器，采用知识提示策略，将结构知识编码为示例，以指导模型进行有效学习，从而缓解长尾问题。

技术框架：KICGPT的整体架构包括两个主要模块：大型语言模型（LLM）和三元组检索器。LLM负责生成和理解文本，而检索器则用于获取相关的三元组信息。

关键创新：KICGPT的核心创新在于引入知识提示策略，使得模型能够在不增加额外训练开销的情况下有效利用结构知识，这与传统方法的微调策略形成鲜明对比。

关键设计：在设计上，KICGPT优化了知识提示的编码方式，确保结构知识能够有效传递给LLM，同时保持较低的训练成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准数据集上的实验结果表明，KICGPT在知识图谱补全任务中表现优异，相较于传统方法，训练开销显著降低，且无需微调，提升了模型的效率和实用性。

🎯 应用场景

KICGPT的研究成果在多个领域具有广泛的应用潜力，包括智能问答系统、推荐系统和知识管理等。通过提高知识图谱的完整性，KICGPT能够为下游应用提供更准确和丰富的信息支持，推动人工智能技术的发展。

📄 摘要（原文）

Knowledge Graph Completion (KGC) is crucial for addressing knowledge graph incompleteness and supporting downstream applications. Many models have been proposed for KGC. They can be categorized into two main classes: triple-based and text-based approaches. Triple-based methods struggle with long-tail entities due to limited structural information and imbalanced entity distributions. Text-based methods alleviate this issue but require costly training for language models and specific finetuning for knowledge graphs, which limits their efficiency. To alleviate these limitations, in this paper, we propose KICGPT, a framework that integrates a large language model (LLM) and a triple-based KGC retriever. It alleviates the long-tail problem without incurring additional training overhead. KICGPT uses an in-context learning strategy called Knowledge Prompt, which encodes structural knowledge into demonstrations to guide the LLM. Empirical results on benchmark datasets demonstrate the effectiveness of KICGPT with smaller training overhead and no finetuning.