Structure-Internalized Rule Language Model for Faithful Knowledge Graph Reasoning

📄 arXiv: 2608.17443v1 📥 PDF

作者: Xingrui Zhuo, Jiapu Wang, Manzong Huang, Gongqing Wu, Xindong Wu

分类: cs.AI

发布日期: 2026-08-18

💡 一句话要点

提出结构内化规则语言模型以解决知识图谱推理中的证据感知漂移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱推理 大型语言模型 结构内化 规则生成 神经符号推理 推理逻辑 证据感知

📋 核心要点

  1. 现有的知识图谱推理模型在理解知识图谱的结构语义时存在不足，导致推理效果不佳。
  2. 本文提出的结构内化规则语言模型（SIRLM）通过结构规则生成，增强了LLMs对知识图谱证据的感知能力。
  3. 在36个数据集上的实验表明，SIRLM在17种最先进的KGR方法中表现出显著的性能提升。

📝 摘要（中文）

知识图谱推理（KGR）旨在通过利用知识图谱中的结构证据发现潜在事实，但现有模型在结构语义理解上存在挑战。尽管大型语言模型（LLMs）在KGR任务中取得了显著进展，但它们在知识图谱结构上下文与参数知识之间的表示不一致性问题尚未得到有效解决。为此，本文提出了一种结构内化规则语言模型（SIRLM），通过结构规则生成将结构知识的参数学习与推理逻辑的可信度评估相结合，从而增强LLMs对知识图谱证据的感知能力。实验结果表明，SIRLM在17种最先进的KGR方法上表现出显著优势。

🔬 方法详解

问题定义：本文解决的问题是大型语言模型在知识图谱推理中对推理证据的感知漂移，现有方法未能有效处理知识图谱结构与LLM参数知识之间的表示不一致性。

核心思路：论文的核心思路是通过结构内化规则生成，将结构知识的参数学习与推理逻辑的可信度评估相结合，使LLMs能够更好地对齐知识图谱的证据。

技术框架：整体架构包括结构内化规则生成器（SIRG），该模块结合了增强的上下文学习块和结构关系记忆，以协调结构知识与参数知识。此外，SIRG还配备了基于结构不变性学习的知识图谱分词器和基于规则约束消息传播的神经符号推理器。

关键创新：最重要的技术创新点在于引入了结构内化规则生成器（SIRG），通过学习可变结构表示和可信的规则执行反馈，解决了LLMs在知识图谱推理中的证据感知漂移问题。

关键设计：关键设计包括结构关系记忆的实现、知识图谱分词器的结构不变性学习机制，以及神经符号推理器的规则约束消息传播策略，这些设计确保了模型的有效性和可信度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在与17种最先进的KGR方法的对比实验中，SIRLM在36个数据集上展现出显著的性能提升，具体表现为在多个任务上提高了推理准确率，验证了其在知识图谱推理中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、知识图谱构建与维护、以及信息检索等。通过提高知识图谱推理的准确性和可信度，SIRLM能够为各类基于知识图谱的应用提供更可靠的支持，未来可能在多个行业中产生深远影响。

📄 摘要（原文）

Knowledge Graph Reasoning (KGR) aims to discover latent facts by leveraging the structural evidence available in KGs, posing a challenge to the structural semantic understanding capability of KGR models. Recent studies have demonstrated that Large Language Models (LLMs) can achieve remarkable progress on KGR tasks via flexible in-context learning. However, the inherent representation inconsistency between KG structural context and LLM parametric knowledge remains inadequately addressed. This limitation prevents LLMs from effectively perceiving reasoning evidence that aligns with KG constraints, which undermines both the effectiveness and faithfulness of reasoning. We refer to this problem as reasoning evidence perception drift of LLMs over KGs. To address this problem, we propose a Structure-Internalized Rule Language Model (SIRLM), which centers on structural rule generation to couple the parametric learning of structural knowledge with the faithfulness evaluation of reasoning logic, enabling LLMs to anchor tightly to KG-grounded evidence. Specifically, we first design a Structure-Internalized Rule Generator (SIRG), which incorporates an in-context learning block augmented with a structural relation memory to coordinate structural and parametric knowledge. Furthermore, we equip SIRG with a KG tokenizer based on structural invariance learning and a neuro-symbolic reasoner based on rule-constrained message propagation. These components provide SIRG with learnable structural representations and faithful rule-execution feedback, respectively. Our SIRLM can be seamlessly integrated into standard LLM training paradigms, such as SFT and GRPO. Extensive experiments against 17 state-of-the-art KGR methods on 36 datasets demonstrate the significant superiority of SIRLM.