Representation Learning on Heterophilic Graph with Directional Neighborhood Attention

📄 arXiv: 2403.01475v1 📥 PDF

作者: Qincheng Lu, Jiaqi Zhu, Sitao Luan, Xiao-Wen Chang

分类: cs.LG, cs.AI, cs.SI

发布日期: 2024-03-03

💡 一句话要点

提出方向图注意力网络以解决异质图信息捕获不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图神经网络 注意力机制 异质图 信息传播 拉普拉斯矩阵 邻域修剪 全局方向

📋 核心要点

  1. 现有的图注意力网络（GAT）仅依赖于直接邻域信息，无法有效捕获长距离和全局图信息，导致在异质图上的性能不佳。
  2. 本文提出的方向图注意力网络（DGAT）结合了特征基础的注意力机制与全局方向信息，旨在改善信息传播的有效性。
  3. 实验结果显示，DGAT在多个真实世界基准数据集上超越了GAT，并在7个数据集中有6个超过了当前最先进的模型，验证了其优越性。

📝 摘要（中文）

图注意力网络（GAT）是当前流行的图神经网络架构之一，利用注意力机制学习边权重，在多种应用中表现出色。然而，由于其仅考虑了直接邻域信息，导致在捕获长距离和全局图信息方面存在不足，尤其是在异质图上表现不佳。为了解决这一问题，本文提出了方向图注意力网络（DGAT），该网络结合了基于特征的注意力与从图拓扑中提取的全局方向信息。通过引入新类拉普拉斯矩阵，DGAT能够有效减少节点间的扩散距离，并提出了拓扑引导的邻域修剪和边添加机制，以去除噪声并捕获有用的长距离邻域信息。实验结果表明，DGAT在真实世界基准和合成数据集上均优于基线GAT，并在7个真实世界基准数据集中有6个超越了当前最先进的模型。

🔬 方法详解

问题定义：本文旨在解决现有图注意力网络（GAT）在异质图上无法有效捕获长距离和全局信息的问题。现有方法仅依赖于直接邻域信息，导致性能不足。

核心思路：提出方向图注意力网络（DGAT），通过结合特征基础的注意力与全局方向信息，增强信息传播能力，从而改善异质图的表现。

技术框架：DGAT的整体架构包括新类拉普拉斯矩阵的引入、拓扑引导的邻域修剪和边添加机制，以及全局方向注意力模块。这些模块协同工作，以优化信息传播和节点间的关系捕获。

关键创新：DGAT的核心创新在于引入了新类拉普拉斯矩阵，能够有效减少节点间的扩散距离，并通过拓扑引导的机制去除噪声，捕获长距离邻域信息。这与传统GAT方法的局限性形成了鲜明对比。

关键设计：在DGAT中，关键设计包括拉普拉斯矩阵的构建方式、邻域修剪和边添加的具体策略，以及全局方向注意力的实现。这些设计确保了网络能够有效地处理异质图的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DGAT在真实世界基准数据集上表现优越，尤其在6个数据集中超越了当前最先进的模型，验证了其在异质图上的有效性和优势。相较于基线GAT，DGAT在性能上有显著提升，展示了其在长距离信息捕获方面的能力。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、生物信息学和推荐系统等，DGAT能够在这些领域中更好地捕获节点间的复杂关系，从而提升模型的预测能力和决策支持。未来，DGAT的设计理念也可能为其他图神经网络架构的改进提供新的思路。

📄 摘要（原文）

Graph Attention Network (GAT) is one of the most popular Graph Neural Network (GNN) architecture, which employs the attention mechanism to learn edge weights and has demonstrated promising performance in various applications. However, since it only incorporates information from immediate neighborhood, it lacks the ability to capture long-range and global graph information, leading to unsatisfactory performance on some datasets, particularly on heterophilic graphs. To address this limitation, we propose the Directional Graph Attention Network (DGAT) in this paper. DGAT is able to combine the feature-based attention with the global directional information extracted from the graph topology. To this end, a new class of Laplacian matrices is proposed which can provably reduce the diffusion distance between nodes. Based on the new Laplacian, topology-guided neighbour pruning and edge adding mechanisms are proposed to remove the noisy and capture the helpful long-range neighborhood information. Besides, a global directional attention is designed to enable a topological-aware information propagation. The superiority of the proposed DGAT over the baseline GAT has also been verified through experiments on real-world benchmarks and synthetic data sets. It also outperforms the state-of-the-art (SOTA) models on 6 out of 7 real-world benchmark datasets.