Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders

📄 arXiv: 2404.15806v1 📥 PDF

作者: Chuang Liu, Yuyao Wang, Yibing Zhan, Xueqi Ma, Dapeng Tao, Jia Wu, Wenbin Hu

分类: cs.LG

发布日期: 2024-04-24

备注: 9 pages, 3 Figures. Accepted by IJCAI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出结构引导掩码策略以提升图掩码自编码器性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图掩码自编码器 自监督学习 图结构数据 结构评分 掩码策略 迁移学习 深度学习

📋 核心要点

  1. 现有GMAE模型采用简单的随机掩码策略，未能有效利用图中节点的重要性信息。
  2. 本文提出的StructMAE通过结构评分和逐步掩码策略，增强了模型对图结构的学习能力。
  3. 实验结果显示，StructMAE在多个任务上均显著优于现有的最先进GMAE模型，验证了其有效性。

📝 摘要（中文）

图掩码自编码器（GMAE）在图结构数据的自监督预训练中取得了显著进展。现有GMAE模型主要采用随机掩码策略，但未考虑图中不同节点的重要性。本文提出了一种新颖的结构引导掩码策略（StructMAE），通过评估节点的结构重要性，逐步引导模型学习图的结构信息。实验结果表明，StructMAE在无监督和迁移学习任务中均优于现有的GMAE模型。

🔬 方法详解

问题定义：本文旨在解决现有GMAE模型中随机掩码策略未能考虑节点重要性的问题。随机掩码导致模型在学习图结构时缺乏针对性，影响了性能。

核心思路：提出的StructMAE通过结构评分来评估节点的重要性，并基于此设计逐步掩码策略，以增强模型对图结构的理解。此设计使得模型在自监督重建任务中逐渐适应更具结构信息的掩码。

技术框架：StructMAE的整体流程包括两个主要步骤：1) 结构评分：对每个节点进行评估并分配重要性分数，采用预定义和可学习两种评分方式；2) 结构引导掩码：根据评分结果实施从易到难的掩码策略，逐步引导模型学习。

关键创新：StructMAE的最大创新在于引入了结构评分机制，使得掩码策略不再随机，而是基于节点的重要性进行有针对性的掩码。这一方法显著提高了模型对图结构信息的学习能力。

关键设计：在评分过程中，采用了两种评分方式，分别为预定义的固定评分和通过学习得到的动态评分。同时，掩码策略从随机掩码开始，逐步转向掩码结构信息丰富的节点，确保模型逐步适应复杂的结构信息。

📊 实验亮点

实验结果表明，StructMAE在无监督学习和迁移学习任务中均显著优于现有的最先进GMAE模型，具体性能提升幅度达到XX%（具体数据待补充），验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统、药物发现等图结构数据的处理。通过提升图数据的自监督学习能力，StructMAE能够在多种实际场景中提高模型的表现，推动相关领域的发展。

📄 摘要（原文）

Graph masked autoencoders (GMAE) have emerged as a significant advancement in self-supervised pre-training for graph-structured data. Previous GMAE models primarily utilize a straightforward random masking strategy for nodes or edges during training. However, this strategy fails to consider the varying significance of different nodes within the graph structure. In this paper, we investigate the potential of leveraging the graph's structural composition as a fundamental and unique prior in the masked pre-training process. To this end, we introduce a novel structure-guided masking strategy (i.e., StructMAE), designed to refine the existing GMAE models. StructMAE involves two steps: 1) Structure-based Scoring: Each node is evaluated and assigned a score reflecting its structural significance. Two distinct types of scoring manners are proposed: predefined and learnable scoring. 2) Structure-guided Masking: With the obtained assessment scores, we develop an easy-to-hard masking strategy that gradually increases the structural awareness of the self-supervised reconstruction task. Specifically, the strategy begins with random masking and progresses to masking structure-informative nodes based on the assessment scores. This design gradually and effectively guides the model in learning graph structural information. Furthermore, extensive experiments consistently demonstrate that our StructMAE method outperforms existing state-of-the-art GMAE models in both unsupervised and transfer learning tasks. Codes are available at https://github.com/LiuChuang0059/StructMAE.