A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation

📄 arXiv: 2403.03483v1 📥 PDF

作者: Lirong Wu, Haitao Lin, Zhangyang Gao, Guojiang Zhao, Stan Z. Li

分类: cs.LG

发布日期: 2024-03-06

备注: arXiv admin note: substantial text overlap with arXiv:2210.02097

💡 一句话要点

提出无教师图知识蒸馏框架以提升MLP性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图知识蒸馏 无教师学习 多层感知机 自蒸馏 图神经网络 推理加速 结构信息

📋 核心要点

  1. 现有的图知识蒸馏方法通常依赖于教师模型和GNN，导致推理时存在数据依赖性和延迟问题。
  2. 本文提出的无教师图自蒸馏框架（TGS）完全基于MLP，通过邻域信息进行双重知识自蒸馏，消除了对教师模型的依赖。
  3. 实验结果显示，TGS在多个真实数据集上显著提升了MLP的性能，并在推理速度上大幅超越了现有GNN和加速方法。

📝 摘要（中文）

近年来，图神经网络（GNN）在图相关任务中取得了显著成功，但多层感知机（MLP）仍是工业应用的主要选择。为缩小学术与工业之间的差距，本文提出了一种无教师的图自蒸馏框架（TGS），该框架在训练和推理过程中均不需要教师模型或GNN。TGS框架完全基于MLP，利用结构信息隐式指导目标节点与其邻域之间的双重知识自蒸馏。实验结果表明，TGS在六个真实数据集上平均提升了15.54%的性能，并且在推理速度上比现有GNN快75X-89X，比经典加速方法快16X-25X。

🔬 方法详解

问题定义：本文旨在解决现有图知识蒸馏方法对教师模型和GNN的依赖，导致的推理延迟和性能瓶颈。

核心思路：提出无教师图自蒸馏框架（TGS），通过MLP实现知识自蒸馏，利用结构信息指导目标节点与邻域之间的知识传递，避免了数据依赖性。

技术框架：TGS框架包括两个主要阶段：训练阶段和推理阶段。在训练阶段，MLP通过邻域信息进行双重知识自蒸馏；在推理阶段，直接使用训练得到的模型进行快速推理。

关键创新：TGS的核心创新在于完全不依赖教师模型和GNN，利用MLP实现图结构信息的有效利用，显著提升了推理速度和性能。

关键设计：在设计上，TGS采用了特定的损失函数来平衡目标节点与邻域节点之间的知识蒸馏过程，同时优化了网络结构以适应图数据的特性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TGS在六个真实数据集上平均提升了15.54%的性能，且在推理速度上比现有GNN快75X-89X，比传统加速方法快16X-25X，展示了其在效率和效果上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统、图像分类等需要处理图结构数据的场景。通过提升MLP在图任务中的性能，TGS框架能够为工业界提供更高效的解决方案，推动图神经网络技术的实际应用和发展。

📄 摘要（原文）

Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). Despite their great academic success, Multi-Layer Perceptrons (MLPs) remain the primary workhorse for practical industrial applications. One reason for such an academic-industry gap is the neighborhood-fetching latency incurred by data dependency in GNNs. To reduce their gaps, Graph Knowledge Distillation (GKD) is proposed, usually based on a standard teacher-student architecture, to distill knowledge from a large teacher GNN into a lightweight student GNN or MLP. However, we found in this paper that neither teachers nor GNNs are necessary for graph knowledge distillation. We propose a Teacher-Free Graph Self-Distillation (TGS) framework that does not require any teacher model or GNNs during both training and inference. More importantly, the proposed TGS framework is purely based on MLPs, where structural information is only implicitly used to guide dual knowledge self-distillation between the target node and its neighborhood. As a result, TGS enjoys the benefits of graph topology awareness in training but is free from data dependency in inference. Extensive experiments have shown that the performance of vanilla MLPs can be greatly improved with dual self-distillation, e.g., TGS improves over vanilla MLPs by 15.54% on average and outperforms state-of-the-art GKD algorithms on six real-world datasets. In terms of inference speed, TGS infers 75X-89X faster than existing GNNs and 16X-25X faster than classical inference acceleration methods.