A Foundation Model for Zero-shot Logical Query Reasoning

📄 arXiv: 2404.07198v2 📥 PDF

作者: Mikhail Galkin, Jincheng Zhou, Bruno Ribeiro, Jian Tang, Zhaocheng Zhu

分类: cs.AI, cs.LG

发布日期: 2024-04-10 (更新: 2024-10-01)

备注: NeurIPS 2024

💡 一句话要点

提出UltraQuery以解决知识图谱中的零-shot逻辑查询推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复杂逻辑查询 知识图谱 零-shot推理 归纳推理 模型微调 信息检索 智能问答

📋 核心要点

  1. 现有的复杂逻辑查询回答方法只能在特定知识图谱上训练，无法有效迁移到新图谱。
  2. UltraQuery通过将投影和逻辑操作设计为与词汇无关的函数，实现了在不同知识图谱上的零-shot推理能力。
  3. 在23个数据集上的实验表明，UltraQuery在零-shot推理模式下的性能优于现有最佳方法，且在15个数据集上创下新纪录。

📝 摘要（中文）

复杂逻辑查询回答（CLQA）在知识图谱（KGs）中超越了简单的KG补全，旨在回答由多个投影和逻辑操作组成的复合查询。现有的CLQA方法只能在特定的实体或关系词汇上学习参数，导致其只能应用于训练时的图谱，且在新图谱上部署前需要大量训练时间。本文提出了UltraQuery，这是第一个用于归纳推理的基础模型，能够在任何KG上零-shot回答逻辑查询。UltraQuery的核心思想是将投影和逻辑操作推导为与词汇无关的函数，从而能够推广到任何KG中的新实体和关系。通过在23个数据集上的实验，UltraQuery在零-shot推理模式下的查询回答性能优于现有的最佳基线，并在15个数据集上设立了新的最优状态。

🔬 方法详解

问题定义：本文解决的是复杂逻辑查询回答（CLQA）在知识图谱中的问题。现有方法的痛点在于其只能在特定的实体或关系词汇上进行训练，导致在新图谱上应用时需要大量的时间和资源。

核心思路：UltraQuery的核心思路是将投影和逻辑操作定义为与词汇无关的函数，这样可以使模型在面对新的实体和关系时仍然能够进行有效推理。通过这种设计，UltraQuery能够实现零-shot推理，减少了对特定训练数据的依赖。

技术框架：UltraQuery的整体架构包括两个主要模块：首先是从预训练的归纳KG推理模型初始化投影操作，其次是通过在单一数据集上进行微调来适应特定的知识图谱。

关键创新：UltraQuery的最重要创新在于其将逻辑查询的推理过程与词汇解耦，使得模型能够在不同知识图谱上进行零-shot推理。这一设计与现有方法的本质区别在于不再依赖于特定的训练数据集。

关键设计：在技术细节上，UltraQuery采用了特定的损失函数以优化推理过程，并在网络结构上进行了调整，以支持与词汇无关的逻辑操作和投影功能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UltraQuery在23个数据集上的实验结果显示，其在零-shot推理模式下的查询回答性能优于现有最佳基线，尤其在15个数据集上创下了新的最优状态。这表明UltraQuery在复杂逻辑查询回答任务中的有效性和创新性。

🎯 应用场景

UltraQuery的研究成果在多个领域具有潜在应用价值，包括智能问答系统、知识图谱的自动构建和信息检索等。其零-shot推理能力使得在新领域或新数据集上快速部署成为可能，极大地提高了模型的灵活性和适应性。

📄 摘要（原文）

Complex logical query answering (CLQA) in knowledge graphs (KGs) goes beyond simple KG completion and aims at answering compositional queries comprised of multiple projections and logical operations. Existing CLQA methods that learn parameters bound to certain entity or relation vocabularies can only be applied to the graph they are trained on which requires substantial training time before being deployed on a new graph. Here we present UltraQuery, the first foundation model for inductive reasoning that can zero-shot answer logical queries on any KG. The core idea of UltraQuery is to derive both projections and logical operations as vocabulary-independent functions which generalize to new entities and relations in any KG. With the projection operation initialized from a pre-trained inductive KG reasoning model, UltraQuery can solve CLQA on any KG after finetuning on a single dataset. Experimenting on 23 datasets, UltraQuery in the zero-shot inference mode shows competitive or better query answering performance than best available baselines and sets a new state of the art on 15 of them.