PhysGuard: Fisher-Guided Gradient Projection for Sim-to-Real Neural PDE Surrogates

📄 arXiv: 2606.16602v1 📥 PDF

作者: Changjian Zhou, Junfeng Fang, Negin Yousefpour, Peng Wu, Bin Yan, Guillermo A Narsilio

分类: cs.LG, math.NA, physics.comp-ph

发布日期: 2026-06-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出PhysGuard以解决神经算子在仿真到现实中的适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 神经算子 仿真到现实 Fisher信息 微调 物理保留 深度学习 机器学习

📋 核心要点

  1. 现有方法在神经算子模型的仿真到现实适应中存在准确性下降的问题，尤其是在有限的真实数据微调时。
  2. 本文提出PhysGuard框架，通过Fisher信息矩阵识别物理关键参数方向，限制微调更新以保护核心物理结构。
  3. 实验结果显示，PhysGuard在多个基准测试中优于传统微调方法，尤其在领域转移严重时，低频误差显著降低。

📝 摘要（中文）

神经算子模型在仿真数据上训练后，应用于实验测量时常因仿真与现实之间的差距而失去准确性。虽然标准的微调方法能够减少这一差距，但可能会损害预训练过程中学习到的核心物理相关表示。针对这一问题，本文提出了PhysGuard，一个物理保留框架，用于神经算子的准确仿真到现实适应。PhysGuard利用在仿真数据上计算的经验Fisher信息矩阵来识别物理关键参数方向，并限制微调更新不干扰这些方向。实验结果表明，PhysGuard在多个神经算子架构和不同物理系统的基准测试中表现优异，尤其在严重领域转移情况下，低频误差减少了多达32%。

🔬 方法详解

问题定义：本文旨在解决神经算子模型在仿真到现实应用中准确性下降的问题。现有的微调方法在使用有限真实数据时，可能会损害模型学习到的核心物理表示。

核心思路：PhysGuard框架的核心思想是利用经验Fisher信息矩阵来识别物理关键参数方向，并在微调过程中限制更新方向，以保护这些重要的物理结构。

技术框架：PhysGuard的整体架构包括两个主要模块：首先，计算Fisher信息矩阵以识别关键参数方向；其次，实施微调时限制更新到不干扰这些方向的子空间。

关键创新：PhysGuard的主要创新在于其物理保留的微调策略，与传统方法不同，它关注于保护物理结构而非语义或视觉特征。

关键设计：在实现上，PhysGuard采用了层级Gram矩阵的形式，使得在参数众多的模型中高效计算，同时自适应阈值用于自动确定保护子空间的大小。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PhysGuard在多个神经算子架构和不同物理系统的基准测试中表现优异，尤其在严重领域转移情况下，低频误差减少了多达32%，显著优于传统微调方法。

🎯 应用场景

该研究的潜在应用领域包括工程模拟、物理实验和机器人控制等，能够有效提升神经算子在真实环境中的表现，具有重要的实际价值和未来影响，尤其是在需要高精度物理建模的场景中。

📄 摘要（原文）

Neural operator models trained on simulation data often lose accuracy when applied to experimental measurements due to the sim-to-real gap. Standard fine-tuning with limited real data can reduce this gap, but it may also damage the core physics-relevant representations learned during pretraining. Although knowledge-preserving adaptation has been widely investigated in vision or language tasks, it remains unclear whether these methods are suitable for neural operators whose architectures and protected knowledge are fundamentally different. Neural operators need to preserve core-scale physical structures rather than semantic or visual features. We propose PhysGuard, a physics-preserving framework for accurate sim-to-real adaptation of neural operators. Specifically, PhysGuard uses the empirical Fisher Information Matrix computed on simulation data to identify physics-critical parameter directions, then restricts fine-tuning updates to directions that do not interfere with them. A layer-wise Gram-matrix formulation makes this efficient for models with millions of parameters, while an adaptive threshold automatically determines the protected subspace size. A spectral probe experiment shows that the dominant Fisher directions are strongly associated with low-frequency output structures. Experiments on benchmark across four neural operator architectures and different physical systems show that PhysGuard performs strongly on most evaluation metrics compared to baselines. The benefits are most evident under severe domain shift, where it reduces low-frequency error by up to 32\% compared to standard fine-tuning while maintaining adaptability. Our code is available at https://github.com/ZhouChaunge/PhysGuard.