A Fair Evaluation of Graph Foundation Models for Node Property Prediction

📄 arXiv: 2606.24509v1 📥 PDF

作者: Oleg Platonov, Gleb Bazhenov, Dmitry Eremeev, Liudmila Prokhorenkova

分类: cs.LG, cs.AI, cs.SI

发布日期: 2026-06-23

备注: Accepted at The Workshop on Graph Foundation Models at ICML 2026

💡 一句话要点

提出公平评估图基础模型以解决节点属性预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图基础模型 节点属性预测 图神经网络 公平评估 性能比较 Prior-data Fitted Networks 机器学习 数据科学

📋 核心要点

  1. 现有的图基础模型在节点属性预测任务中缺乏统一的评估标准，导致不同模型间的比较不可靠。
  2. 本文通过对9种近期GFMs进行公平评估，提出了一种新的评估框架，以便更好地比较不同模型的性能。
  3. 实验结果表明，基于Prior-data Fitted Networks的最新GFMs在预测性能上优于传统的图神经网络，但推理成本较高。

📝 摘要（中文）

随着图结构数据在各个行业和科学领域的广泛应用，图基础模型（GFMs）的发展引起了广泛关注。特别是针对节点属性预测任务的GFMs，因其在金融和社交网络中的欺诈检测、电子商务推荐系统等实际应用而备受关注。然而，现有GFMs的评估方法缺乏统一性，导致模型间的比较不可靠。本文对9种近期GFMs进行了公平且严格的重新评估，并与强大的图神经网络（GNN）基线进行了比较。研究发现，只有基于Prior-data Fitted Networks范式的最新GFMs在预测性能上超越了经过良好调优的GNN，尽管其推理成本较高。

🔬 方法详解

问题定义：本文旨在解决图基础模型在节点属性预测任务中评估标准不统一的问题。现有方法在评估时采用不同的标准，导致模型间的比较缺乏可靠性。

核心思路：论文提出了一种公平且严格的评估框架，对9种GFMs进行重新评估，并与强大的GNN基线进行比较，以揭示不同模型的真实性能。

技术框架：研究首先定义了评估标准，然后选择了9种GFMs进行实验，最后与GNN基线进行对比分析。评估过程包括数据集选择、模型训练和性能评估等主要模块。

关键创新：最重要的创新在于提出了统一的评估框架，使得不同GFMs和GNN的性能可以在相同的标准下进行比较，从而提高了评估的可靠性。

关键设计：在实验中，选择了多种数据集进行评估，采用了标准的性能指标（如准确率、F1分数等），并对模型进行了良好的调优，以确保结果的有效性。实验还考虑了推理成本的比较。

📊 实验亮点

实验结果显示，基于Prior-data Fitted Networks的GFMs在预测性能上显著优于经过良好调优的GNN，尽管其推理成本较高。这一发现为未来GFMs的研究和应用提供了重要的参考依据。

🎯 应用场景

该研究的潜在应用领域包括金融欺诈检测、社交网络分析、电子商务推荐系统等。通过提供一个公平的评估框架，研究者和工程师可以更有效地选择和优化图基础模型，从而提升实际应用中的预测性能，推动图机器学习的发展。

📄 摘要（原文）

Due to the wide use of graph-structured data in different fields of industry and science, the development of Graph Foundation Models (GFMs) has recently attracted a lot of attention. While many different types of models are called GFMs, particular interest has been paid to GFMs designed for node property prediction tasks, which is one of the most popular settings in Graph ML with lots of real-world applications from fraud detection in financial and social networks to recommendation systems for e-commerce and user-generated content platforms. While a number of GFMs for this task have been recently proposed, the field has not converged to a unified evaluation setting, and different works evaluate their models in widely different ways, preventing reliable comparison of GFMs with each other and with other types of models. In this work, we conduct a fair and rigorous reevaluation of 9 recent GFMs for node property prediction, comparing them to strong Graph Neural Network (GNN) baselines. We find that, among these GFMs, only the most recent ones based on the Prior-data Fitted Networks paradigm outperform well-tuned GNNs in predictive performance, although at a higher inference cost.