Architecture Matters: Uncovering Implicit Mechanisms in Graph Contrastive Learning

📄 arXiv: 2311.02687v1 📥 PDF

作者: Xiaojun Guo, Yifei Wang, Zeming Wei, Yisen Wang

分类: cs.LG, cs.AI, stat.ML

发布日期: 2023-11-05

备注: NeurIPS 2023

💡 一句话要点

提出图对比学习的新架构以解决现有方法的不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图对比学习 图神经网络 数据增强 分类性能 隐式归纳偏差

📋 核心要点

  1. 现有图对比学习方法在正样本和负样本的使用上存在显著差异，影响了分类性能。
  2. 论文提出关注图学习架构的隐式影响，强调不应直接将视觉对比学习方法移植到图对比学习中。
  3. 通过系统实验，发现简单的领域无关增强方法在图对比学习中表现良好，且负样本并非必需。

📝 摘要（中文）

随着对比学习在视觉表示学习中的繁荣，它也被适应于图领域并取得了良好的性能。然而，通过对各种图对比学习方法的系统研究，我们观察到一些现象与原始的视觉对比学习方法大相径庭，包括：1）正样本在图对比学习中并非必需；2）负样本在图分类中并不必要，特定归一化模块下节点分类亦是如此；3）数据增强对图对比学习的影响较小，简单的领域无关增强（如高斯噪声）也能获得良好性能。通过揭示图神经网络在对比学习中的隐式归纳偏差，我们为上述图对比学习的特性提供了理论见解。我们主张在设计图对比学习方法时，更加关注图学习的独特架构及其隐式影响。

🔬 方法详解

问题定义：论文要解决的具体问题是现有图对比学习方法在正负样本使用上的不合理性，以及数据增强对性能的影响较小。现有方法未能充分利用图神经网络的特性，导致性能提升有限。

核心思路：论文的核心解决思路是通过系统研究图对比学习的隐式归纳偏差，提出在设计方法时应更加关注图学习的独特架构，而不是简单移植视觉对比学习的方法。

技术框架：整体架构包括对比学习的基本流程，首先进行图数据的预处理，然后通过特定的归一化模块进行节点或图的表示学习，最后通过对比损失进行优化。

关键创新：最重要的技术创新点在于揭示了图对比学习中正负样本的非必要性，以及简单数据增强方法的有效性，这与传统视觉对比学习方法的依赖性形成鲜明对比。

关键设计：关键设计包括对比损失函数的选择、特定归一化模块的引入，以及对数据增强策略的重新评估，确保在图对比学习中实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用简单的领域无关增强方法，图对比学习的性能与传统方法相比有显著提升，尤其是在负样本不使用的情况下，仍能保持较高的分类准确率，展示了新架构的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统、药物发现等图数据密集的场景。通过优化图对比学习方法，可以提升图分类和节点分类的性能，进而推动相关领域的研究和应用发展。

📄 摘要（原文）

With the prosperity of contrastive learning for visual representation learning (VCL), it is also adapted to the graph domain and yields promising performance. However, through a systematic study of various graph contrastive learning (GCL) methods, we observe that some common phenomena among existing GCL methods that are quite different from the original VCL methods, including 1) positive samples are not a must for GCL; 2) negative samples are not necessary for graph classification, neither for node classification when adopting specific normalization modules; 3) data augmentations have much less influence on GCL, as simple domain-agnostic augmentations (e.g., Gaussian noise) can also attain fairly good performance. By uncovering how the implicit inductive bias of GNNs works in contrastive learning, we theoretically provide insights into the above intriguing properties of GCL. Rather than directly porting existing VCL methods to GCL, we advocate for more attention toward the unique architecture of graph learning and consider its implicit influence when designing GCL methods. Code is available at https: //github.com/PKU-ML/ArchitectureMattersGCL.