LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs

📄 arXiv: 2402.11804v3 📥 PDF

作者: Kai Wang, Yuwei Xu, Zhiyong Wu, Siqiang Luo

分类: cs.AI, cs.CL, cs.SI

发布日期: 2024-02-19 (更新: 2024-06-19)

备注: Accepted by Findings of ACL2024

💡 一句话要点

提出ProLINK以解决低资源知识图谱推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 推理 低资源场景 大型语言模型 图神经网络 ProLINK 机器学习 人工智能

📋 核心要点

  1. 现有知识图谱推理方法在低资源场景中面临文本和结构信息稀缺的挑战，导致推理效果不佳。
  2. 本文提出ProLINK框架，利用大型语言模型生成图结构提示，增强图神经网络的推理能力，适用于低资源知识图谱。
  3. 在36个低资源KG数据集上，ProLINK在三-shot、单-shot和零-shot推理任务中分别提升了20%、45%和147%的性能，显示出显著的效果提升。

📝 摘要（中文）

知识图谱（KG）推理旨在从未见过的新KG中推断缺失的事实，但在低资源场景中面临文本和结构稀缺的挑战。本文提出了一种新方法，利用大型语言模型（LLMs）生成图结构提示，以增强预训练的图神经网络（GNNs）。我们引入了ProLINK框架，专为低资源推理设计，无需额外训练。通过在36个低资源KG数据集上的实验，ProLINK在三-shot、单-shot和零-shot推理任务中表现优异，平均性能提升分别为20%、45%和147%。此外，ProLINK在各种LLM提示和全-shot场景中展现出强大的鲁棒性。

🔬 方法详解

问题定义：本文解决的是低资源知识图谱推理的问题，现有方法在文本和结构信息稀缺的情况下，推理效果显著下降，限制了其应用范围。

核心思路：我们提出的ProLINK框架利用大型语言模型生成图结构提示，增强预训练的图神经网络（GNNs），从而在低资源场景中实现有效推理。

技术框架：ProLINK框架主要包括两个模块：首先是利用LLMs生成图结构提示，其次是将这些提示输入到GNN中进行推理。这一流程无需额外的训练，直接适用于新知识图谱。

关键创新：ProLINK的创新在于将大型语言模型与图神经网络结合，形成了一种新的预训练和提示框架，显著提高了低资源推理的能力，与传统方法相比，具有更高的灵活性和适应性。

关键设计：在设计中，我们关注于提示的生成质量和GNN的结构，采用了特定的损失函数来优化推理效果，同时确保模型在不同KG上的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ProLINK在36个低资源KG数据集上表现出色，三-shot、单-shot和零-shot推理任务的平均性能分别提升了20%、45%和147%。这些结果表明，ProLINK在低资源场景下的推理能力显著优于现有方法，展现出强大的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、推荐系统和知识管理等。通过提高低资源知识图谱的推理能力，ProLINK能够在信息稀缺的环境中提供更准确的推理结果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Knowledge Graph (KG) inductive reasoning, which aims to infer missing facts from new KGs that are not seen during training, has been widely adopted in various applications. One critical challenge of KG inductive reasoning is handling low-resource scenarios with scarcity in both textual and structural aspects. In this paper, we attempt to address this challenge with Large Language Models (LLMs). Particularly, we utilize the state-of-the-art LLMs to generate a graph-structural prompt to enhance the pre-trained Graph Neural Networks (GNNs), which brings us new methodological insights into the KG inductive reasoning methods, as well as high generalizability in practice. On the methodological side, we introduce a novel pretraining and prompting framework ProLINK, designed for low-resource inductive reasoning across arbitrary KGs without requiring additional training. On the practical side, we experimentally evaluate our approach on 36 low-resource KG datasets and find that ProLINK outperforms previous methods in three-shot, one-shot, and zero-shot reasoning tasks, exhibiting average performance improvements by 20%, 45%, and 147%, respectively. Furthermore, ProLINK demonstrates strong robustness for various LLM promptings as well as full-shot scenarios.