PICL: Physics Informed Contrastive Learning for Partial Differential Equations

📄 arXiv: 2401.16327v4 📥 PDF

作者: Cooper Lorsung, Amir Barati Farimani

分类: cs.LG, math.NA, physics.comp-ph

发布日期: 2024-01-29 (更新: 2024-09-24)

备注: 11 pages, 10 figures

💡 一句话要点

提出物理信息对比学习以提升偏微分方程求解的泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏微分方程 神经算子 对比学习 物理信息 泛化能力 傅里叶神经算子 广义对比损失

📋 核心要点

  1. 现有神经算子方法通常针对单一偏微分方程进行评估，缺乏跨方程的泛化能力。
  2. 本文提出了一种基于广义对比损失的对比预训练框架，旨在同时提升多个控制方程的求解性能。
  3. 实验结果显示，物理信息对比预训练显著提高了傅里叶神经算子在多种任务中的准确性，尤其是在固定未来和自回归展开任务中。

📝 摘要（中文）

神经算子作为偏微分方程（PDE）替代模型近年来受到广泛关注。学习解函数而非函数本身已被证明是快速、准确求解复杂PDE的有效方法。尽管已有研究评估神经算子在多种替代建模任务中的表现，但通常是针对单一方程进行评估。本文提出了一种新颖的对比预训练框架，利用广义对比损失，提升神经算子在多个控制方程上的泛化能力。通过方程系数测量系统间的真实相似性，结合物理信息系统演化和潜在空间模型输出，构建了距离函数。研究表明，物理信息对比预训练在固定未来和自回归展开任务中，显著提高了傅里叶神经算子在一维和二维热方程、Burgers方程及线性对流方程的准确性。

🔬 方法详解

问题定义：本文旨在解决神经算子在多个偏微分方程求解中的泛化能力不足的问题。现有方法通常只针对单一方程进行训练，导致在处理不同方程时性能下降。

核心思路：提出了一种物理信息对比学习的框架，通过引入广义对比损失，利用方程系数来衡量系统间的相似性，从而提升模型在多方程上的泛化能力。

技术框架：整体架构包括数据输入、物理信息系统演化模块、潜在空间模型输出和距离函数计算。通过这些模块的协同作用，实现对多个控制方程的有效学习和求解。

关键创新：最重要的创新在于将物理信息与对比学习相结合，利用系统演化和潜在空间信息来增强模型的学习能力。这一方法与传统的单方程训练方法本质上不同，能够同时处理多个方程。

关键设计：在损失函数中引入广义对比损失，设计了基于方程系数的相似性度量。同时，网络结构采用傅里叶神经算子，适应性地处理一维和二维的热方程、Burgers方程及线性对流方程。通过这些设计，模型能够更好地捕捉不同方程的特性。

📊 实验亮点

实验结果显示，物理信息对比预训练显著提高了傅里叶神经算子在一维和二维热方程、Burgers方程及线性对流方程的准确性。在固定未来和自回归展开任务中，模型的性能提升幅度超过了传统方法，验证了新框架的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在科学计算、工程模拟和物理建模等领域。通过提升神经算子在多种偏微分方程求解中的泛化能力，能够加速复杂系统的模拟与预测，推动相关领域的研究与应用发展。

📄 摘要（原文）

Neural operators have recently grown in popularity as Partial Differential Equation (PDE) surrogate models. Learning solution functionals, rather than functions, has proven to be a powerful approach to calculate fast, accurate solutions to complex PDEs. While much work has been done evaluating neural operator performance on a wide variety of surrogate modeling tasks, these works normally evaluate performance on a single equation at a time. In this work, we develop a novel contrastive pretraining framework utilizing Generalized Contrastive Loss that improves neural operator generalization across multiple governing equations simultaneously. Governing equation coefficients are used to measure ground-truth similarity between systems. A combination of physics-informed system evolution and latent-space model output are anchored to input data and used in our distance function. We find that physics-informed contrastive pretraining improves accuracy for the Fourier Neural Operator in fixed-future and autoregressive rollout tasks for the 1D and 2D Heat, Burgers', and linear advection equations.