TASER: Temporal Adaptive Sampling for Fast and Accurate Dynamic Graph Representation Learning
作者: Gangda Deng, Hongkuan Zhou, Hanqing Zeng, Yinglong Xia, Christopher Leung, Jianbo Li, Rajgopal Kannan, Viktor Prasanna
分类: cs.LG, cs.AI
发布日期: 2024-02-08 (更新: 2024-11-23)
备注: IPDPS 2024
💡 一句话要点
提出TASER以解决动态图神经网络中的噪声问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态图神经网络 自适应采样 噪声去除 训练效率 图表示学习
📋 核心要点
- 现有的TGNN方法在处理动态图时容易受到噪声影响，导致模型准确性下降。
- TASER通过自适应采样优化小批量选择和邻居选择，旨在提高TGNN的训练效率和准确性。
- 在五个数据集上，TASER相较于基线方法平均提升2.3% MRR，并实现5.1倍的训练时间加速。
📝 摘要（中文）
近年来，时间图神经网络（TGNNs）在欺诈检测和内容推荐等高影响力应用中表现出色。然而，TGNNs在处理真实世界动态图时容易受到噪声的影响，如时间过期的链接和偏斜的交互分布。这导致模型在劣质交互的监督下训练，并且噪声输入引发聚合消息的高方差。现有的TGNN去噪技术未考虑每个节点的多样化和动态噪声模式，同时在生成小批量时也面临过高的开销。为此，本文提出了TASER，这是首个针对TGNNs的自适应采样方法，旨在提高准确性、效率和可扩展性。TASER根据训练动态调整小批量选择，并基于过去交互的上下文、结构和时间属性选择临时邻居。实验结果表明，TASER在五个流行数据集上平均提高了2.3%的平均倒数排名（MRR），同时训练时间平均加速了5.1倍。
🔬 方法详解
问题定义：本文旨在解决动态图神经网络（TGNNs）在处理真实世界动态图时受到的噪声影响，特别是时间过期的链接和偏斜的交互分布，这些问题导致模型训练效果不佳和高方差。
核心思路：TASER的核心思想是通过时间自适应采样来优化TGNNs的训练过程，具体包括根据训练动态调整小批量选择，以及基于上下文、结构和时间属性选择邻居，从而提高模型的准确性和效率。
技术框架：TASER的整体架构包括两个主要模块：一个是纯GPU的临时邻居查找器，另一个是专用的GPU特征缓存。这些模块协同工作，以减少小批量生成的瓶颈。
关键创新：TASER的主要创新在于其自适应采样机制，能够根据每个节点的动态噪声模式进行优化，这与现有的TGNN去噪技术有本质区别。
关键设计：TASER在参数设置上采用了动态调整策略，损失函数设计上考虑了噪声影响，网络结构上则结合了上下文和时间属性，以实现更高效的邻居选择和信息聚合。
🖼️ 关键图片
📊 实验亮点
在五个流行数据集上，TASER相较于基线方法平均提升了2.3%的平均倒数排名（MRR），同时实现了训练时间的平均加速达5.1倍，显示出其在准确性和效率上的显著优势。
🎯 应用场景
TASER的研究成果在多个领域具有广泛的应用潜力，包括社交网络分析、金融欺诈检测和个性化推荐系统等。通过提高TGNNs的准确性和效率，TASER能够帮助企业更好地处理动态数据，提升决策质量和用户体验。未来，随着动态图数据的不断增长，TASER的应用价值将愈加显著。
📄 摘要（原文）
Recently, Temporal Graph Neural Networks (TGNNs) have demonstrated state-of-the-art performance in various high-impact applications, including fraud detection and content recommendation. Despite the success of TGNNs, they are prone to the prevalent noise found in real-world dynamic graphs like time-deprecated links and skewed interaction distribution. The noise causes two critical issues that significantly compromise the accuracy of TGNNs: (1) models are supervised by inferior interactions, and (2) noisy input induces high variance in the aggregated messages. However, current TGNN denoising techniques do not consider the diverse and dynamic noise pattern of each node. In addition, they also suffer from the excessive mini-batch generation overheads caused by traversing more neighbors. We believe the remedy for fast and accurate TGNNs lies in temporal adaptive sampling. In this work, we propose TASER, the first adaptive sampling method for TGNNs optimized for accuracy, efficiency, and scalability. TASER adapts its mini-batch selection based on training dynamics and temporal neighbor selection based on the contextual, structural, and temporal properties of past interactions. To alleviate the bottleneck in mini-batch generation, TASER implements a pure GPU-based temporal neighbor finder and a dedicated GPU feature cache. We evaluate the performance of TASER using two state-of-the-art backbone TGNNs. On five popular datasets, TASER outperforms the corresponding baselines by an average of 2.3% in Mean Reciprocal Rank (MRR) while achieving an average of 5.1x speedup in training time.