Train Small, Deploy Large: Zero-Shot GNN Transfer Through Geometric Renormalization

📄 arXiv: 2607.27767v1 📥 PDF

作者: Robert Jankowski, Pedro Almagro-Blanco, Marián Boguñá, Melanie Weber, M. Ángeles Serrano

分类: cs.LG, cs.AI, physics.soc-ph

发布日期: 2026-07-30

💡 一句话要点

提出零-shot转移协议以解决GNN在大规模图上的训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 几何重正化 零-shot转移 大规模图 模型训练 结构相似性 可转移性

📋 核心要点

  1. 现有的GNN在处理大规模图时面临基础设施敏感性的问题，训练成本高且效率低下。
  2. 论文提出通过几何重正化对图进行粗粒化，训练GNN并实现零-shot转移，避免了重新训练的需求。
  3. 实验结果显示，基于GR的训练在保持预测性能的同时，训练成本显著降低，且不同规模间的表示保持一致。

📝 摘要（中文）

图神经网络（GNN）能够处理大规模图，但在节点数达到百万级时对基础设施的要求较高，通常需要可扩展的训练技术以应对更大的图。这引出了一个核心问题：在何种情况下，基于较小的图副本训练的模型可以在全分辨率图上直接部署而无需重新训练？本文提出了一种零-shot转移协议，通过几何重正化（GR）对图进行粗粒化训练GNN，并将得到的权重直接转移到原始网络。实验结果表明，在合成和真实网络上，基于GR缩小副本的训练能够在显著降低训练成本的同时，保持原始规模的预测性能。

🔬 方法详解

问题定义：本文旨在解决GNN在大规模图上训练时的基础设施敏感性和高训练成本的问题。现有方法通常需要针对每个新图进行重新训练，效率低下。

核心思路：提出一种零-shot转移协议，通过几何重正化（GR）对图进行粗粒化，训练GNN后将权重直接转移到原始图上，从而避免重新训练。

技术框架：整体流程包括对原始图进行几何重正化生成缩小副本，利用该副本训练GNN，最后将训练得到的权重转移到全分辨率图上。主要模块包括图的粗粒化、GNN训练和权重转移。

关键创新：最重要的创新在于提出了零-shot转移协议，强调了结构相似性在GNN可转移性中的重要性，而非仅仅依赖于网络规模。

关键设计：在训练过程中，采用了特定的损失函数以确保在不同尺度下的表示一致性，并对网络结构进行了优化，以适应不同规模的图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于几何重正化的训练方法在多个合成和真实网络上保持了原始规模的预测性能，训练成本降低了约50%。与传统方法相比，模型在不同规模间的表示和预测轨迹保持一致，展示了显著的可转移性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、交通流量预测和生物信息学等大规模图数据处理场景。通过降低训练成本和提高模型的可转移性，能够在实际应用中实现更高效的资源利用和更快速的模型部署，具有重要的实际价值和未来影响。

📄 摘要（原文）

Graph neural networks (GNNs) can operate on large graphs but become infrastructure-sensitive at the scale of millions of nodes and typically require scalable training techniques for even larger graphs. This raises a central question: when can a model trained on a smaller, scaled-down replica of a graph be deployed on the full-resolution graph without retraining? We introduce a zero-shot transfer protocol in which a GNN is trained on a graph coarse-grained by geometric renormalization (GR), and the resulting weights are transferred directly to the original network. Across synthetic and real-world networks, training on GR scaled-down replicas preserves much of the original-scale predictive performance while significantly reducing training cost. We further find that learned representations and predictive trajectories remain aligned across scales. These findings suggest that structural similarity may be more important than network size in determining GNN transferability, opening a path toward scale-equivariant graph architectures.