Do LLMs Dream of Ontologies?

📄 arXiv: 2401.14931v2 📥 PDF

作者: Marco Bombieri, Paolo Fiorini, Simone Paolo Ponzetto, Marco Rospocher

分类: cs.CL, cs.AI

发布日期: 2024-01-26 (更新: 2025-02-02)

DOI: 10.1145/3725852

💡 一句话要点

探讨大型语言模型对本体知识的记忆能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 本体知识 知识记忆 自然语言处理 模型评估

📋 核心要点

  1. 现有大型语言模型在记忆结构化知识方面的能力尚未得到充分探索，尤其是对本体知识的理解和再现。
  2. 本文通过系统评估不同LLMs在多个本体资源中的表现，分析了概念的流行度与记忆准确性之间的关系。
  3. 实验结果显示，GPT-4在本体概念的记忆上表现最佳，且概念的网络出现频率与准确性高度相关。

📝 摘要（中文）

大型语言模型（LLMs）在多种自然语言处理任务中表现出色，但其对结构化知识的记忆能力尚未得到充分研究。本文探讨了通用预训练的LLMs在保留和正确再现公共本体中的概念标识符（ID）与标签关联的能力。通过对多个本体资源（如基因本体、Uberon、Wikidata和ICD-10）的系统评估，发现只有少量本体概念被准确记忆，其中GPT-4表现最佳。研究还表明，概念在网络上的出现频率与准确检索其ID的可能性之间存在强相关性，表明LLMs主要通过间接文本暴露而非直接从结构化本体资源中获取知识。此外，本文引入了新的度量标准来量化预测不变性，展示了模型响应在提示语言和温度设置变化下的稳定性可以作为估计记忆稳健性的代理。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在记忆和再现公共本体知识方面的能力，现有方法未能系统评估这一能力的具体表现和影响因素。

核心思路：通过对多个本体资源的系统评估，分析LLMs如何通过间接文本暴露而非直接获取结构化知识，从而揭示其记忆机制。

技术框架：研究采用了多种大型语言模型（如Pythia-12B、Gemini-1.5-Flash、GPT-3.5和GPT-4），对比其在不同本体资源中的表现，评估其对概念ID的记忆能力。

关键创新：引入新的度量标准来量化预测不变性，提供了一种评估模型记忆稳健性的全新视角，与传统方法相比，强调了模型响应的稳定性。

关键设计：实验中设置了不同的提示语言和温度参数，以观察模型在这些变化下的响应稳定性，确保评估结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，只有少量本体概念被准确记忆，GPT-4的表现优于其他模型。概念的网络出现频率与准确检索其ID的可能性之间存在强相关性，揭示了LLMs知识获取的间接性。

🎯 应用场景

该研究的潜在应用领域包括知识图谱构建、智能问答系统和信息检索等。通过提升大型语言模型对结构化知识的记忆能力，可以增强其在实际应用中的表现，推动智能系统的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable performance across diverse natural language processing tasks, yet their ability to memorize structured knowledge remains underexplored. In this paper, we investigate the extent to which general-purpose pre-trained LLMs retain and correctly reproduce concept identifier (ID)-label associations from publicly available ontologies. We conduct a systematic evaluation across multiple ontological resources, including the Gene Ontology, Uberon, Wikidata, and ICD-10, using LLMs such as Pythia-12B, Gemini-1.5-Flash, GPT-3.5, and GPT-4. Our findings reveal that only a small fraction of ontological concepts is accurately memorized, with GPT-4 demonstrating the highest performance. To understand why certain concepts are memorized more effectively than others, we analyze the relationship between memorization accuracy and concept popularity on the Web. Our results indicate a strong correlation between the frequency of a concept's occurrence online and the likelihood of accurately retrieving its ID from the label. This suggests that LLMs primarily acquire such knowledge through indirect textual exposure rather than directly from structured ontological resources. Furthermore, we introduce new metrics to quantify prediction invariance, demonstrating that the stability of model responses across variations in prompt language and temperature settings can serve as a proxy for estimating memorization robustness.