SAOT: Self-Supervised Continual Graph Learning with Structure-Aware Optimal Transport

📄 arXiv: 2607.00377v1 📥 PDF

作者: Yuting Zhang, Yanbei Liu, Zhitao Xiao, Lei Geng, Yanwei Pang, Xiao Wang

分类: cs.LG, cs.SI

发布日期: 2026-07-01

备注: The paper has 9 pages of text and 13 pages in total (including acknowledgments, impact statement, references, and appendix), with 6 figures and 4 tables. This paper has been accepted by ICML 2026 conference and this is a final version of the manuscript submitted to the conference

💡 一句话要点

提出SAOT框架以解决自监督持续图学习中的结构保持问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 持续学习 图学习 最优传输 知识蒸馏 结构保持 图表示

📋 核心要点

  1. 现有自监督持续图学习方法多依赖于实例级一致性目标，导致全局关系结构的失真。
  2. 本文提出的SAOT框架通过最优传输理论显式捕捉图表示中的全局节点对应关系。
  3. 在多个基准数据集上，SAOT显著提升了模型性能，尤其在Class-IL设置下表现突出。

📝 摘要（中文）

自监督持续图学习（CGL）旨在从不同任务的图序列中连续学习，而无需标签监督。现有方法多依赖于实例级一致性目标，导致节点嵌入的全局关系结构无法保持。为此，本文提出了一种新颖的结构感知最优传输（SAOT）框架，显式捕捉并保持图表示中的关系结构。SAOT利用最优传输理论来捕捉全局节点间的对应关系，同时结合跨任务知识蒸馏机制，以保留先前的结构知识。在四个CGL基准数据集上的广泛实验表明，SAOT在性能上超越了现有的自监督基线，尤其在Class-IL设置下，CoraFull-CL的平均准确率提高了5%，Products-CL则提升超过15%。

🔬 方法详解

问题定义：本文解决的是自监督持续图学习中，现有方法因优化节点孤立而导致的全局关系结构失真问题。

核心思路：SAOT框架通过最优传输理论来捕捉和保持节点间的全局关系，同时引入跨任务知识蒸馏机制，以保留先前学习的结构知识。

技术框架：SAOT的整体架构包括两个主要模块：一是基于最优传输的关系捕捉模块，二是跨任务知识蒸馏模块。这两个模块协同工作，以增强图表示学习。

关键创新：SAOT的核心创新在于其结构感知的最优传输方法，能够在持续学习中有效保持节点间的全局关系，而不是仅依赖于局部一致性。

关键设计：在损失函数设计上，SAOT结合了最优传输损失和知识蒸馏损失，确保了结构信息的保留和任务间知识的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个CGL基准数据集上的实验结果显示，SAOT在Class-IL设置下的CoraFull-CL数据集上平均准确率提高了5%，在Products-CL数据集上提升超过15%，显著优于现有自监督基线，展示了其强大的性能提升能力。

🎯 应用场景

SAOT框架在社交网络分析、推荐系统和生物信息学等领域具有广泛的应用潜力。通过有效保持图结构的关系，该方法能够提升模型在动态环境中的适应能力，促进智能系统的持续学习与优化。

📄 摘要（原文）

Self-supervised Continual Graph Learning (CGL) aims to successively learn from a graph sequence with different tasks without label supervision - a paradigm that has attracted widespread attention. Most existing self-supervised CGL methods rely on instance-level consistency objectives that enforce stability of individual node (or node-pair) embeddings. Due to optimizing nodes in isolation, these methods fail to maintain global relational structure, causing inter-node correspondences to progressively distort under continual learning. To this end, we propose a novel Structure-Aware Optimal Transport (SAOT) framework that explicitly captures and preserves relational structure within graph representations across sequential tasks. Specifically, SAOT leverages optimal transport theory to capture global inter-node correspondences, thereby facilitating and enhancing graph representation learning. Simultaneously, SAOT incorporates a cross-task knowledge distillation mechanism to preserve the previous structural knowledge. Extensive experiments on four CGL benchmark datasets demonstrate that SAOT outperforms existing self-supervised baselines. In particular, SAOT achieves significant performance gains, improving average accuracy by up to 5% on CoraFull-CL and over 15% on Products-CL compared with state-of-the-art methods in the Class-IL setting.