Novel Representation Learning Technique using Graphs for Performance Analytics

📄 arXiv: 2401.10799v1 📥 PDF

作者: Tarek Ramadan, Ankur Lahiry, Tanzima Z. Islam

分类: cs.LG

发布日期: 2024-01-19

备注: This paper has been accepted at 22nd International Conference on Machine Learning and Applications (ICMLA2023)

💡 一句话要点

提出图结构表示学习技术以提升高性能计算性能分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图神经网络 性能分析 高性能计算 表示学习 回归任务 特征工程 数据缺失

📋 核心要点

  1. 现有的机器学习方法未能有效利用样本之间的关系，导致性能分析的准确性不足。
  2. 本文提出将表格数据转化为图结构，通过图神经网络捕捉样本和特征之间的复杂关系。
  3. 实验结果表明，本文方法在数据缺失情况下仍能显著提升回归任务的性能，MSE损失改善幅度达到61.67%和78.56%。

📝 摘要（中文）

高性能计算（HPC）领域的性能分析通常依赖于表格数据来解决回归问题，如预测执行时间。现有的机器学习技术主要利用特征之间的相关性，而未能直接利用样本之间的关系。此外，现有方法依赖于大量的特征工程和预处理步骤，耗时且费力。为了解决这两个问题，本文提出了一种将表格性能数据转化为图的创新方法，以利用图神经网络（GNN）技术捕捉特征和样本之间的复杂关系。我们提出的图构建方法通过样本之间特征的相似性迭代推断边，生成的嵌入在回归任务中表现优异，尤其在面对数据缺失时，效果显著优于现有的图和深度神经网络方法。

🔬 方法详解

问题定义：本文旨在解决高性能计算领域中，现有机器学习方法在处理表格数据时未能有效利用样本间关系的问题。现有方法依赖于特征相关性，缺乏对样本间复杂关系的建模，且通常需要繁琐的特征工程和预处理。

核心思路：本文提出将表格性能数据转化为图结构，利用图神经网络（GNN）技术来捕捉样本和特征之间的复杂关系。通过构建图，节点代表样本，边则基于样本特征的相似性迭代推断，从而生成高质量的嵌入。

技术框架：整体流程包括数据预处理、图构建、图神经网络嵌入生成和回归模型训练。首先对表格数据进行预处理，然后构建图结构，接着使用GNN生成样本嵌入，最后将这些嵌入输入到简单的前馈神经网络中进行回归任务。

关键创新：本文的主要创新在于提出了一种新的图构建方法，能够在没有预定义图的情况下，自动推断样本之间的关系。这一方法与传统的特征工程方法有本质区别，能够更好地捕捉样本间的复杂关系。

关键设计：在图构建过程中，采用了基于特征相似性的迭代推断机制，确保生成的边能够真实反映样本间的关系。同时，损失函数设计上采用了适应性损失，以提高模型在数据缺失情况下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在处理高性能计算数据集和机器学习数据集时，MSE损失相比于深度神经网络基线分别提升了61.67%和78.56%。即使在数据缺失达到25%的情况下，本文方法仍然表现优异，超越了现有的图和深度学习方法。

🎯 应用场景

该研究的潜在应用领域包括高性能计算性能分析、机器学习模型优化以及其他需要处理复杂关系数据的领域。通过有效地捕捉样本间的关系，能够提升模型的预测能力，减少人工特征工程的需求，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

The performance analytics domain in High Performance Computing (HPC) uses tabular data to solve regression problems, such as predicting the execution time. Existing Machine Learning (ML) techniques leverage the correlations among features given tabular datasets, not leveraging the relationships between samples directly. Moreover, since high-quality embeddings from raw features improve the fidelity of the downstream predictive models, existing methods rely on extensive feature engineering and pre-processing steps, costing time and manual effort. To fill these two gaps, we propose a novel idea of transforming tabular performance data into graphs to leverage the advancement of Graph Neural Network-based (GNN) techniques in capturing complex relationships between features and samples. In contrast to other ML application domains, such as social networks, the graph is not given; instead, we need to build it. To address this gap, we propose graph-building methods where nodes represent samples, and the edges are automatically inferred iteratively based on the similarity between the features in the samples. We evaluate the effectiveness of the generated embeddings from GNNs based on how well they make even a simple feed-forward neural network perform for regression tasks compared to other state-of-the-art representation learning techniques. Our evaluation demonstrates that even with up to 25% random missing values for each dataset, our method outperforms commonly used graph and Deep Neural Network (DNN)-based approaches and achieves up to 61.67% & 78.56% improvement in MSE loss over the DNN baseline respectively for HPC dataset and Machine Learning Datasets.