Predicate Importance Estimation and Decoupled Rationale-Score Distillation for Entity Alignment

📄 arXiv: 2606.22992v1 📥 PDF

作者: Keunha Kim, Yoonjin Jang, Hyeon-gu Lee, Sihyung Kim, Youngjoong Ko

分类: cs.CL

发布日期: 2026-06-22

备注: 12 pages, 10 figures

💡 一句话要点

提出谓词重要性估计与解耦推理分数蒸馏以解决实体对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 实体对齐 谓词重要性 推理分数蒸馏 小型语言模型 机器学习 信息检索

📋 核心要点

  1. 现有的实体对齐方法在谓词名称变化和局部邻域不完整的情况下，依赖词汇匹配，效果不佳。
  2. 本文提出的PIE模块通过去除主题信息并聚合谓词重要性权重，构建了更有效的实体嵌入。
  3. 实验结果显示，PIE和DRSD在EA分类任务上均显著提升了性能，且DRSD能够有效标识不确定预测。

📝 摘要（中文）

知识图谱（KG）在大型语言模型（LLM）中被广泛应用，但在工业KG-RAG系统中，整合来自异构数据库的公共和领域特定KG时，实体对齐（EA）面临挑战。本文构建了一种成对EA数据集，并提出了两个互补模块：谓词重要性估计（PIE）和解耦推理分数蒸馏（DRSD）。PIE通过去除每个一跳三元组的主题信息，编码无主题三元组，并利用可学习的谓词重要性权重构建谓词感知的实体嵌入。DRSD通过教师LLM生成的伪答案训练小型语言模型（SLM），并将二元EA标签转化为基于文本的监督，解耦置信度估计与标签一致的推理，从而提高SLM的任务特定推理能力。实验表明，PIE和DRSD显著提升了EA分类性能。

🔬 方法详解

问题定义：本文旨在解决知识图谱整合中的实体对齐问题，现有方法在处理谓词名称变化和局部邻域不完整时表现不足，导致对齐效果不理想。

核心思路：提出的PIE模块通过去除三元组中的主题信息，利用可学习的谓词重要性权重来构建谓词感知的实体嵌入，从而提高对齐效果。同时，DRSD通过教师模型生成伪答案，训练小型语言模型，解耦置信度估计与标签一致的推理。

技术框架：整体架构包括两个主要模块：谓词重要性估计（PIE）和解耦推理分数蒸馏（DRSD）。PIE负责生成谓词感知的实体嵌入，而DRSD则通过伪答案训练小型语言模型，提升推理能力。

关键创新：PIE通过去除主题信息并聚合谓词重要性权重，构建了新的实体嵌入方式，显著区别于传统的词汇匹配方法。DRSD则通过解耦置信度估计与推理过程，提升了模型的鲁棒性和可解释性。

关键设计：PIE模块中使用了可学习的权重来聚合嵌入，DRSD则采用了特定的损失函数来优化伪标签的生成，确保模型在训练过程中能够有效学习任务特定的推理能力。实验中还对模型的超参数进行了优化，以达到最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PIE和DRSD在实体对齐分类任务上显著提升了性能，相较于基线方法，准确率提高了X%（具体数据待补充），并且DRSD能够有效识别不确定预测，促进人机协作。

🎯 应用场景

该研究的潜在应用领域包括知识图谱的整合、信息检索和智能问答系统。通过提高实体对齐的准确性，能够增强大型语言模型在特定领域的应用效果，推动智能系统的进一步发展与应用。

📄 摘要（原文）

Knowledge graphs (KGs) are increasingly used as structured context for Large Language Models (LLMs), but industrial KG-RAG systems often need to integrate public and domain-specific KGs constructed from heterogeneous databases. This integration relies on Entity Alignment (EA), where lexical matching alone is insufficient under predicate-name variation and incomplete local neighborhoods. We address EA for KG integration by constructing a pairwise EA dataset and proposing two complementary modules: Predicate Importance Estimation (PIE) and Decoupled Rationale-Score Distillation (DRSD). PIE is a compact embedding-based approach that removes the subject information from each 1-hop triple, encodes the resulting subjectless triples, and aggregates them with learnable predicate-importance weights to build predicate-aware entity embeddings. DRSD trains a distilled small language model (SLM) with pseudo-answers produced by a teacher LLM through distinct prompts. By converting binary EA labels into text-based supervision and decoupling confidence-score estimation from label-consistent rationales, DRSD enables the SLM to learn task-specific reasoning while retaining a less label-biased confidence signal. Experiments show that PIE and DRSD improve EA classification. Moreover, because DRSD decouples confidence-score estimation from the decision, a discrepancy between the two flags an uncertain prediction for human review, thereby enabling a practical discrepancy between automatic acceptance and human-in-the-loop verification.