SEMMA: A Semantic Aware Knowledge Graph Foundation Model

📄 arXiv: 2505.20422v2 📥 PDF

作者: Arvindh Arun, Sumit Kumar, Mojtaba Nayyeri, Bo Xiong, Ponnurangam Kumaraguru, Antonio Vergari, Steffen Staab

分类: cs.CL, cs.AI

发布日期: 2025-05-26 (更新: 2025-09-19)

备注: EMNLP 2025

💡 一句话要点

提出SEMMA以解决知识图谱推理中的语义不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 基础模型 语义推理 大型语言模型 链接预测 文本嵌入 结构融合

📋 核心要点

  1. 现有知识图谱基础模型主要依赖图结构，忽视了文本属性中的语义信息，导致推理能力不足。
  2. SEMMA通过引入大型语言模型，整合文本语义与图结构，提升了知识图谱的推理能力。
  3. 在54个知识图谱的实验中，SEMMA在完全归纳链接预测中表现优异，尤其在未见关系词汇的情况下效果提升显著。

📝 摘要（中文）

知识图谱基础模型（KGFMs）在实现对未见图谱的零-shot推理方面展现了潜力，但大多数现有KGFMs仅依赖图结构，忽视了文本属性中蕴含的丰富语义信号。本文提出了SEMMA，一个双模块KGFM，系统地整合了可转移的文本语义与结构。SEMMA利用大型语言模型（LLMs）丰富关系标识符，生成语义嵌入，进而形成文本关系图，并与结构组件融合。在54个多样化的知识图谱上，SEMMA在完全归纳链接预测中超越了纯结构基线ULTRA。尤其在更具挑战性的泛化设置中，测试时关系词汇完全未见的情况下，结构方法崩溃，而SEMMA的效果提升了2倍。我们的研究表明，在仅依赖结构的情况下，文本语义对泛化至关重要，强调了统一结构与语言信号的基础模型在知识推理中的必要性。

🔬 方法详解

问题定义：本文旨在解决现有知识图谱基础模型在推理时对文本语义信号的忽视问题，导致在未见图谱上的泛化能力不足。

核心思路：SEMMA通过引入大型语言模型，系统地整合可转移的文本语义与图结构，生成语义嵌入并形成文本关系图，从而增强推理能力。

技术框架：SEMMA的整体架构包括两个主要模块：文本语义模块和结构模块。文本语义模块利用LLMs生成关系的语义嵌入，而结构模块则处理图的结构信息，最终将两者融合以进行推理。

关键创新：SEMMA的核心创新在于将文本语义与图结构有效结合，克服了传统方法仅依赖结构的局限性，显著提升了在复杂推理任务中的表现。

关键设计：在设计中，SEMMA采用了特定的损失函数来优化语义嵌入与结构信息的融合，同时在网络结构上进行了调整，以确保两种信息的有效整合。具体参数设置和网络架构细节在论文中进行了详细描述。

📊 实验亮点

在实验中，SEMMA在54个知识图谱上表现出色，尤其在完全归纳链接预测任务中，相较于纯结构基线ULTRA，性能提升达2倍。这一结果表明，文本语义在复杂推理任务中的重要性，验证了SEMMA的有效性。

🎯 应用场景

SEMMA的研究成果在多个领域具有潜在应用价值，包括智能问答系统、推荐系统以及知识图谱构建等。通过提升知识推理的准确性和泛化能力，SEMMA能够为实际应用提供更为可靠的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Knowledge Graph Foundation Models (KGFMs) have shown promise in enabling zero-shot reasoning over unseen graphs by learning transferable patterns. However, most existing KGFMs rely solely on graph structure, overlooking the rich semantic signals encoded in textual attributes. We introduce SEMMA, a dual-module KGFM that systematically integrates transferable textual semantics alongside structure. SEMMA leverages Large Language Models (LLMs) to enrich relation identifiers, generating semantic embeddings that subsequently form a textual relation graph, which is fused with the structural component. Across 54 diverse KGs, SEMMA outperforms purely structural baselines like ULTRA in fully inductive link prediction. Crucially, we show that in more challenging generalization settings, where the test-time relation vocabulary is entirely unseen, structural methods collapse while SEMMA is 2x more effective. Our findings demonstrate that textual semantics are critical for generalization in settings where structure alone fails, highlighting the need for foundation models that unify structural and linguistic signals in knowledge reasoning.