Evaluating Class Membership Relations in Knowledge Graphs using Large Language Models

📄 arXiv: 2404.17000v1 📥 PDF

作者: Bradley P. Allen, Paul T. Groth

分类: cs.CL, cs.AI

发布日期: 2024-04-25

备注: 11 pages, 1 figure, 2 tables, accepted at the European Semantic Web Conference Special Track on Large Language Models for Knowledge Engineering, Hersonissos, Crete, GR, May 2024, for associated code and data, see https://github.com/bradleypallen/evaluating-kg-class-memberships-using-llms

💡 一句话要点

提出基于大语言模型的知识图谱类成员关系评估方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 类成员关系 大语言模型 零-shot学习 自然语言处理 知识工程 分类性能

📋 核心要点

  1. 现有知识图谱的类成员关系评估方法存在准确性不足的问题，影响知识工程的质量。
  2. 本文提出了一种基于大语言模型的零-shot思维链分类器，利用自然语言定义来评估类成员关系。
  3. 实验结果显示，该方法在Wikidata和CaLiGraph上分别达到了0.830和0.893的宏平均F1-score，显著提升了分类性能。

📝 摘要（中文）

知识图谱的核心在于类成员关系，它将实体分配到特定类别。本文提出了一种新方法，通过零-shot思维链分类器处理实体和类别的描述，利用自然语言的类的内涵定义来评估这些关系的质量。我们在Wikidata和CaLiGraph两个公开知识图谱上进行了评估，并使用了7个大型语言模型。使用gpt-4-0125-preview模型，该方法在Wikidata数据上的宏平均F1-score达到了0.830，在CaLiGraph数据上达到了0.893。此外，分类错误的人工分析显示，40.9%的错误源于知识图谱本身，其中16.0%是由于缺失关系，24.9%是由于错误的关系断言。这些结果表明，大语言模型可以帮助知识工程师进行知识图谱的优化。

🔬 方法详解

问题定义：本文旨在解决知识图谱中类成员关系评估的准确性问题。现有方法往往依赖于静态规则或手工标注，导致评估结果的可靠性不足。

核心思路：我们提出利用大语言模型的零-shot学习能力，通过自然语言描述来定义类别，从而评估实体的类成员关系。这种方法能够动态适应不同的知识图谱和类别定义。

技术框架：整体流程包括三个主要阶段：首先，提取实体和类别的描述；其次，利用零-shot思维链分类器进行关系评估；最后，分析分类结果和错误，以优化知识图谱。

关键创新：本研究的创新点在于引入了大语言模型进行类成员关系的评估，突破了传统方法的局限，能够处理更复杂的类定义和关系。

关键设计：在模型设计上，我们使用了gpt-4-0125-preview作为基础模型，设置了适当的超参数以优化分类性能，并设计了特定的损失函数以提高模型对错误关系的敏感度。通过对分类错误的分析，进一步指导了模型的改进。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，使用gpt-4-0125-preview模型，该方法在Wikidata数据集上获得了0.830的宏平均F1-score，在CaLiGraph数据集上达到了0.893，显示出显著的性能提升。分类错误分析显示，40.9%的错误源于知识图谱本身，提供了改进的方向。

🎯 应用场景

该研究的潜在应用领域包括知识图谱的构建与维护、信息检索、智能问答系统等。通过提高类成员关系的评估准确性，可以显著提升知识图谱的质量和实用性，进而推动相关领域的研究与应用发展。

📄 摘要（原文）

A backbone of knowledge graphs are their class membership relations, which assign entities to a given class. As part of the knowledge engineering process, we propose a new method for evaluating the quality of these relations by processing descriptions of a given entity and class using a zero-shot chain-of-thought classifier that uses a natural language intensional definition of a class. We evaluate the method using two publicly available knowledge graphs, Wikidata and CaLiGraph, and 7 large language models. Using the gpt-4-0125-preview large language model, the method's classification performance achieves a macro-averaged F1-score of 0.830 on data from Wikidata and 0.893 on data from CaLiGraph. Moreover, a manual analysis of the classification errors shows that 40.9% of errors were due to the knowledge graphs, with 16.0% due to missing relations and 24.9% due to incorrectly asserted relations. These results show how large language models can assist knowledge engineers in the process of knowledge graph refinement. The code and data are available on Github.