Unsupervised Adaptation of PDE Foundation Models

📄 arXiv: 2608.07053v1 📥 PDF

作者: Ziye Song, Zhao Wei, Xin Yu, Ivor Tsang, Yueming Lyu

分类: cs.AI

发布日期: 2026-08-07

💡 一句话要点

提出无监督PDE基础模型适应方法以解决数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏微分方程 无监督学习 模型适应 低秩适应 物理约束 深度学习 迁移学习

📋 核心要点

  1. 现有的PDE基础模型在适应未见方程时，通常需要昂贵的真实解数据，限制了其应用。
  2. 本文提出了一种无监督的微调框架，通过构建物理目标和使用低秩适应技术，消除了对真实解的需求。
  3. 实验结果表明，所提方法在多个异构PDE基准测试中表现优异，超越了现有的竞争性模型。

📝 摘要（中文）

预训练的偏微分方程（PDE）基础模型能够在不同方程之间进行泛化，但将其适应于未见的PDE系统通常需要密集的解数据，这些数据往往昂贵或不可用。为了解决这一限制，本文提出了一种无监督的基于PDE的微调框架，消除了对真实解的需求。我们首先在多样的时间依赖PDE上预训练了一个邻域注意力Transformer，获得了跨异构方程的可迁移表示。在适应阶段，我们构建了基于物理的目标，利用PDE残差和边界条件，通过低秩适应（LoRA）对未见方程进行微调。为了解决标准LoRA在物理量学习中的不均衡问题，我们引入了NSLoRA，一种牛顿-舒尔茨正交化变体，重新平衡适应。我们的方法在不需要任何真实解的情况下，达到了与监督LoRA微调相当的性能，同时在多个空间维度的异构PDE基准测试中，持续超越竞争性的神经算子基线和最近的PDE基础模型。

🔬 方法详解

问题定义：本文旨在解决在未见的偏微分方程（PDE）系统中，现有模型需要昂贵的真实解数据进行适应的问题。这种数据的稀缺性限制了模型的广泛应用。

核心思路：提出了一种无监督的PDE微调框架，利用物理目标（如PDE残差和边界条件）进行模型适应，避免了对真实解的依赖。通过低秩适应（LoRA）技术，模型能够在不同方程之间进行有效的迁移学习。

技术框架：整体框架包括两个主要阶段：首先在多样的时间依赖PDE上预训练邻域注意力Transformer，获得可迁移的表示；然后在适应阶段，构建基于物理的目标，通过NSLoRA进行微调，确保不同物理量的学习均衡。

关键创新：引入了NSLoRA，一种牛顿-舒尔茨正交化变体，解决了标准LoRA在物理量学习中的不均衡问题。这一创新使得模型在适应过程中能够更好地平衡不同物理量的影响。

关键设计：在损失函数设计上，结合了PDE残差和边界条件，确保模型在训练过程中遵循物理规律。网络结构上，使用了邻域注意力机制，增强了模型对不同空间尺度的适应能力。整体设计旨在提升模型的泛化能力和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提无监督微调方法在多个异构PDE基准测试中表现优异，性能与监督LoRA微调相当，同时在多个空间维度的测试中持续超越了竞争性神经算子基线，展现出显著的适应能力和泛化能力。

🎯 应用场景

该研究的潜在应用领域包括工程模拟、气候建模和流体动力学等领域，能够在缺乏真实解数据的情况下，提供有效的PDE模型适应方案。未来，该方法可能推动更多基于物理的机器学习应用，提升科学计算的效率与准确性。

📄 摘要（原文）

Pretrained partial differential equation (PDE) foundation models can generalize across different equations, but adapting them to unseen PDE systems typically requires dense solution data, which is often expensive or unavailable. To address this limitation, we propose an unsupervised PDE-based finetuning framework that eliminates the need for ground-truth solutions. We first pretrain a neighborhood attention Transformer on diverse time-dependent PDEs spanning varying spatial scales, yielding transferable representations across heterogeneous equations. In the adaptation stage, we construct a physics-based objective using the PDE residual and boundary conditions, and finetune the model on unseen equations via low-rank adaptation (LoRA). To address the uneven learning across physical quantities in standard LoRA, we introduce NSLoRA, a Newton-Schulz orthogonalized variant that rebalances adaptation. Our method achieves performance comparable to supervised LoRA finetuning without requiring any ground-truth solutions, while consistently outperforming competitive neural operator baselines and recent PDE foundation models across heterogeneous PDE benchmarks spanning multiple spatial dimensions.