Beyond Completion: A Foundation Model for General Knowledge Graph Reasoning

📄 arXiv: 2505.21926v1 📥 PDF

作者: Yin Hua, Zhiqiang Liu, Mingyang Chen, Zheng Fang, Chi Man Wong, Lingxiao Li, Chi Man Vong, Huajun Chen, Wen Zhang

分类: cs.CL, cs.AI

发布日期: 2025-05-28

备注: ACL 2025 Findings

💡 一句话要点

提出MERRY以解决知识图谱推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 推理模型 多模态融合 自然语言处理 计算机视觉 基础模型 动态融合 问答系统

📋 核心要点

  1. 现有知识图谱基础模型主要关注结构信息，限制了对更复杂的知识图谱外任务的研究。
  2. 本文提出MERRY，通过多视角条件消息传递编码架构，结合知识图谱的文本与结构信息，提升推理能力。
  3. 在28个数据集上的综合评估显示，MERRY在大多数场景中超越了现有基线，特别是在知识图谱问答任务中表现优异。

📝 摘要（中文）

在自然语言处理和计算机视觉领域，基础模型的成功应用展示了其卓越潜力。然而，现有知识图谱基础模型的研究主要集中在结构方面，限制了对更具挑战性的任务的探索。本文提出了MERRY，一个用于一般知识图谱推理的基础模型，评估其在知识图谱内推理任务和知识图谱外任务中的表现。我们不仅利用了知识图谱的结构信息，还结合了文本信息，提出了多视角条件消息传递编码架构，以实现文本与结构模态的无缝融合。此外，我们引入了动态残差融合模块和灵活的边缘评分机制，以适应不同的下游任务。综合评估表明，MERRY在大多数场景中优于现有基线，展现出强大的推理能力和良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有知识图谱基础模型在推理任务中的局限性，尤其是对知识图谱外任务的适应性不足。现有方法多集中于知识图谱内的任务，如知识图谱补全，未能有效利用文本信息。

核心思路：MERRY模型通过多视角条件消息传递编码架构，整合知识图谱的结构和文本信息，旨在提升推理能力并支持多种下游任务。这样的设计使得模型能够更全面地理解知识图谱中的信息。

技术框架：MERRY的整体架构包括多个模块：首先是多视角条件消息传递编码模块，负责信息的融合；其次是动态残差融合模块，选择性保留相关文本信息；最后是灵活的边缘评分机制，适应不同的任务需求。

关键创新：MERRY的主要创新在于其多视角条件消息传递编码架构和动态残差融合模块，这些设计使得模型能够有效整合结构与文本信息，显著提升了推理能力。与现有方法相比，MERRY在处理知识图谱外任务时表现出更好的泛化能力。

关键设计：在模型设计中，采用了动态残差融合机制以优化信息流动，确保重要信息的保留。此外，边缘评分机制的灵活性使得模型能够根据不同任务的需求进行调整，提升了整体性能。具体的损失函数和参数设置在实验部分进行了详细描述。

📊 实验亮点

在28个数据集的评估中，MERRY在大多数场景中超越了现有基线，特别是在知识图谱问答任务中，表现出显著的推理能力提升，具体性能数据未详细列出，但整体提升幅度显著。

🎯 应用场景

MERRY模型在知识图谱推理领域具有广泛的应用潜力，特别是在智能问答系统、推荐系统和信息检索等领域。通过提升对知识图谱的理解和推理能力，MERRY能够为企业和研究机构提供更精准的信息服务，推动相关技术的发展和应用。未来，随着知识图谱的不断扩展，MERRY的应用场景将更加丰富。

📄 摘要（原文）

In natural language processing (NLP) and computer vision (CV), the successful application of foundation models across diverse tasks has demonstrated their remarkable potential. However, despite the rich structural and textual information embedded in knowledge graphs (KGs), existing research of foundation model for KG has primarily focused on their structural aspects, with most efforts restricted to in-KG tasks (e.g., knowledge graph completion, KGC). This limitation has hindered progress in addressing more challenging out-of-KG tasks. In this paper, we introduce MERRY, a foundation model for general knowledge graph reasoning, and investigate its performance across two task categories: in-KG reasoning tasks (e.g., KGC) and out-of-KG tasks (e.g., KG question answering, KGQA). We not only utilize the structural information, but also the textual information in KGs. Specifically, we propose a multi-perspective Conditional Message Passing (CMP) encoding architecture to bridge the gap between textual and structural modalities, enabling their seamless integration. Additionally, we introduce a dynamic residual fusion module to selectively retain relevant textual information and a flexible edge scoring mechanism to adapt to diverse downstream tasks. Comprehensive evaluations on 28 datasets demonstrate that MERRY outperforms existing baselines in most scenarios, showcasing strong reasoning capabilities within KGs and excellent generalization to out-of-KG tasks such as KGQA.