Zero-Shot Size Transfer for Neural ODEs on Sparse Random Graphs: Graphon Limits and Adjoint Convergence

📄 arXiv: 2606.26662v1 📥 PDF

作者: Mingsong Yan, Zhida Wang, Sui Tang

分类: cs.LG, cs.AI, math.DS, math.NA, math.OC

发布日期: 2026-06-25

💡 一句话要点

提出零-shot大小转移方法以解决稀疏随机图上的神经ODE问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 微分方程 零-shot学习 稀疏随机图 Graphon理论 迁移学习 算法优化

📋 核心要点

  1. 现有的图神经微分方程在处理不同规模图时需要重新训练，限制了其应用的灵活性。
  2. 本文提出了基于Graphon的神经微分方程，利用零-shot大小转移原则，实现了在较大图上部署已训练模型的能力。
  3. 实验结果表明，所提方法在不同图上表现出良好的迁移能力，验证了理论收敛速率的有效性。

📝 摘要（中文）

本文研究了图神经微分方程（GNDEs）在稀疏随机图上的零-shot大小转移原则，提出了Graphon神经微分方程（Graphon-NDEs）作为无限节点极限，并证明了其解的收敛性。通过定量理论分析，证明了在稀疏参数α_n下，GNDE解与Graphon-NDE解的轨迹收敛速率为O((α_n n)^{-1/2})。此外，研究了离散化-再优化（DTO）和优化-再离散化（OTD）训练方法的一致性，实验结果验证了理论推导的有效性。

🔬 方法详解

问题定义：本文旨在解决图神经微分方程（GNDEs）在不同规模图上的迁移能力不足的问题。现有方法在面对新图时需重新训练，导致效率低下。

核心思路：提出Graphon神经微分方程（Graphon-NDEs）作为无限节点极限，利用零-shot大小转移原则，使得在小图上训练的模型能够在相似的大图上直接应用。

技术框架：整体架构包括Graphon-NDEs的定义、GNDE解与Graphon-NDE解的轨迹收敛分析，以及离散化-再优化（DTO）和优化-再离散化（OTD）训练方法的研究。主要模块包括理论分析、算法实现和实验验证。

关键创新：最重要的创新在于建立了Graphon-NDEs的理论框架，证明了在稀疏随机图上GNDE解的收敛性，并且提出了DTO和OTD方法的一致性分析。与现有方法相比，显著提高了模型的迁移能力。

关键设计：在算法实现中，采用显式欧拉离散化，设置了M步离散化参数，损失函数设计考虑了稀疏性和对数因子，确保了训练过程的稳定性和收敛性。具体的参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在HSBM和tent图上验证了理论收敛速率，且在四类图上进行零-shot转移实验时，模型在较大独立采样图上的部署准确性得到了显著提升，验证了理论的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、交通流量预测和生物网络建模等。通过实现零-shot大小转移，研究成果能够显著提高模型在不同规模图上的适应性，降低训练成本，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Graph Neural Differential Equations (GNDEs) model continuous-time graph dynamics by parameterizing Neural ODE velocity fields with Graph Neural Networks. Their local, size-independent filters suggest a zero-shot size-transfer principle: train on a small graph and deploy on larger, similar graphs without retraining. We develop a quantitative theory for this principle on sparse random graphs sampled from graphons. We consider Graphon Neural Differential Equations (Graphon-NDEs) and adjoint Graphon-NDEs as the infinite-node limits of the forward and adjoint GNDE systems, and establish well-posedness. For an $n$-node random graph with sparsity parameter $α_n$, we prove trajectory-wise convergence of GNDE solutions to Graphon-NDE solutions at rate $O((α_n n)^{-1/2})$, up to logarithmic factors, with high probability. We also establish uniform-in-time convergence bounds for adjoint systems governing hidden-state and parameter gradients. We further study discretize-then-optimize (DTO) and optimize-then-discretize (OTD) training. Under explicit Euler discretization with $M$ steps, we show that DTO and OTD are asymptotically consistent, with hidden-state and local parameter-gradient discrepancies of orders $O(1/M)$ and $O(1/M^2)$, respectively, up to sparsity and logarithmic factors. Experiments on HSBM and tent graphons support the theoretical rates, while zero-shot transfer experiments across four graphon classes demonstrate accurate deployment of learned GNDEs on larger independently sampled graphs.