Progressive Distillation Based on Masked Generation Feature Method for Knowledge Graph Completion

📄 arXiv: 2401.12997v2 📥 PDF

作者: Cunhang Fan, Yujie Chen, Jun Xue, Yonghui Kong, Jianhua Tao, Zhao Lv

分类: cs.CL

发布日期: 2024-01-19 (更新: 2024-06-10)

备注: Accepted by AAAI2024

期刊: (2024) Vol. 38 No. 8: AAAI-24 Technical Tracks 8 Vol. 38 No. 8: AAAI-24 Technical Tracks 8 Vol. 38 No. 8: AAAI-24 Technical Tracks 8 Proceedings of the AAAI Conference on Artificial Intelligence, 38(8), 8380-8388

DOI: 10.1609/aaai.v38i8.28680

💡 一句话要点

提出基于掩码生成特征的渐进蒸馏方法以解决知识图谱补全问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识图谱补全 渐进蒸馏 掩码生成特征 预训练语言模型 模型压缩

📋 核心要点

  1. 现有基于预训练语言模型的知识图谱补全方法面临参数量大和计算成本高的挑战，限制了其实际应用。
  2. 本文提出了一种基于掩码生成特征的渐进蒸馏方法，通过预蒸馏和多级学生模型设计来降低模型复杂性。
  3. 实验结果显示，预蒸馏阶段的模型超越了现有方法，并且在渐进蒸馏阶段，低级学生模型参数减少56.7%。

📝 摘要（中文）

近年来，基于预训练语言模型的知识图谱补全（KGC）模型取得了良好效果。然而，预训练模型的参数量大和计算成本高，限制了其在下游任务中的应用。本文提出了一种基于掩码生成特征的渐进蒸馏方法，旨在显著降低预训练模型的复杂性。具体而言，我们对PLM进行预蒸馏以获得高质量的教师模型，并压缩PLM网络以获得多级学生模型。为了解决传统特征蒸馏中教师模型信息表示单一的问题，我们提出了教师-学生特征的掩码生成方法，包含更丰富的表示信息。此外，教师和学生之间存在显著的表示能力差距，因此我们设计了一种渐进蒸馏方法，在每个级别上蒸馏学生模型，实现教师向学生的高效知识转移。实验结果表明，预蒸馏阶段的模型超越了现有的最先进方法，并且在渐进蒸馏阶段，模型参数显著减少，同时保持了一定的性能，低级学生模型的参数相比基线减少了56.7%。

🔬 方法详解

问题定义：本文旨在解决知识图谱补全任务中，基于预训练语言模型的模型参数过多和计算成本高的问题，导致其在实际应用中的局限性。

核心思路：提出了一种渐进蒸馏方法，通过对教师模型进行预蒸馏，获得高质量的教师模型，并设计多级学生模型以实现高效的知识转移。

技术框架：整体架构包括预蒸馏阶段和渐进蒸馏阶段。在预蒸馏阶段，提取高质量教师模型；在渐进蒸馏阶段，逐级蒸馏学生模型，确保知识有效传递。

关键创新：引入了掩码生成特征的方法，解决了传统特征蒸馏中教师模型信息表示单一的问题，使得学生模型能够获得更丰富的表示信息。

关键设计：在模型设计中，采用了多级学生模型结构，并设置了适当的损失函数以优化教师与学生之间的知识转移效率，同时确保模型参数的显著减少。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，预蒸馏阶段的模型在性能上超越了现有的最先进方法，并且在渐进蒸馏阶段，低级学生模型的参数相比基线减少了56.7%，在保持性能的同时显著降低了计算成本。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、推荐系统和信息检索等，能够有效提升知识图谱的构建和应用效率。通过降低模型复杂性，该方法在实际场景中具有更高的实用价值，未来可能推动知识图谱技术的广泛应用。

📄 摘要（原文）

In recent years, knowledge graph completion (KGC) models based on pre-trained language model (PLM) have shown promising results. However, the large number of parameters and high computational cost of PLM models pose challenges for their application in downstream tasks. This paper proposes a progressive distillation method based on masked generation features for KGC task, aiming to significantly reduce the complexity of pre-trained models. Specifically, we perform pre-distillation on PLM to obtain high-quality teacher models, and compress the PLM network to obtain multi-grade student models. However, traditional feature distillation suffers from the limitation of having a single representation of information in teacher models. To solve this problem, we propose masked generation of teacher-student features, which contain richer representation information. Furthermore, there is a significant gap in representation ability between teacher and student. Therefore, we design a progressive distillation method to distill student models at each grade level, enabling efficient knowledge transfer from teachers to students. The experimental results demonstrate that the model in the pre-distillation stage surpasses the existing state-of-the-art methods. Furthermore, in the progressive distillation stage, the model significantly reduces the model parameters while maintaining a certain level of performance. Specifically, the model parameters of the lower-grade student model are reduced by 56.7\% compared to the baseline.