Neither Precision Nor Architecture Alone: Controlled Tests of Failure Remedies for Physics-Informed Neural Networks

📄 arXiv: 2608.25327v1 📥 PDF

作者: Jinyuan Zhang, Peng He, He Hu, Yin Yuan, ShengShuo Jiao

分类: cs.LG, cs.AI

发布日期: 2026-08-26

备注: 11 pages, 5 figures, 6 tables; appendix with full proofs included

💡 一句话要点

提出联合评估精度与架构以解决物理信息神经网络问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物理信息神经网络 偏微分方程 精度切换 状态空间模型 模型对齐 L-BFGS优化 实验设计

📋 核心要点

  1. PINNs在处理刚性或对流主导的PDE时表现不佳，现有方法难以有效解决此问题。
  2. 提出通过精度切换和架构替换的联合评估，分别针对不同的失败模式进行优化。
  3. 实验结果显示，SSM在FP32和FP64下的成功率不同，且两种解决方案在不同种子上表现不一，强调了评估的重要性。

📝 摘要（中文）

物理信息神经网络（PINNs）在处理刚性或对流主导的偏微分方程（PDEs）时常常失败。本文测试了两种竞争性解决方案：将FP32切换到FP64以修复L-BFGS停止伪影，或用状态空间模型（SSM）替代多层感知器（MLP）并进行子序列对齐以应对架构简单性偏差。通过144次预注册的实验，结果显示这两种解决方案在不同的条件下有效，且互不替代。实验表明，精度、停止、架构和对齐需联合评估并按种子报告。

🔬 方法详解

问题定义：本文旨在解决物理信息神经网络在刚性和对流主导偏微分方程上的失败问题。现有方法在处理这些复杂问题时，常常无法达到预期的精度，导致模型性能不佳。

核心思路：论文提出联合评估精度（FP32与FP64）和架构（MLP与SSM）的方法，旨在通过不同的策略来改善模型在特定条件下的表现。通过对齐目标的引入，增强了模型的适应性。

技术框架：整体架构包括两个主要模块：一是精度切换，二是架构替换。实验设计为144次预注册的测试，涵盖对流、反应和波动等多种情况，确保结果的可靠性和可重复性。

关键创新：最重要的创新在于提出了对齐目标的引入，使得SSM在不同精度下的表现得以提升，且两种解决方案在不同的种子上表现出互补性。

关键设计：在实验中，L-BFGS的内部容忍度被严格控制，损失函数设计为适应不同的精度和架构，确保模型在不同条件下的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，在处理刚性对流问题时，SSM在FP32下成功率为2/5，FP64下为3/5，而未对齐的SSM在任一精度下均未成功。相比之下，传统的MLP在精度切换中仅从0/5提升至1/5，强调了对齐目标的重要性。

🎯 应用场景

该研究的潜在应用领域包括科学计算、工程模拟和复杂物理现象的建模。通过提高PINNs在特定条件下的表现，能够更好地解决实际问题，推动物理建模与机器学习的结合，具有重要的实际价值和未来影响。

📄 摘要（原文）

Physics-Informed Neural Networks (PINNs) frequently fail on stiff or advection-dominated PDEs, and two recent accounts offer competing remedies: switching from FP32 to FP64 to repair an L-BFGS stopping artifact, or replacing the MLP with a state-space-model (SSM) backbone plus sub-sequence alignment to counter architectural simplicity bias. We test both under matched, seed-paired controls in a pre-registered 144-run study spanning convection, reaction, and wave, plus an independent 85-run convection/wave study; success is relative $\ell_2$ error below $0.05$. The two remedies act on disjoint regime-and-seed slices: neither substitutes for the other. On hard convection ($β{=}50$), alignment recovers 2/5 seeds in FP32 and 3/5 in FP64, where the unaligned SSM succeeds on 0/5 seeds at either precision and the vanilla MLP moves only from 0/5 to 1/5 across the precision switch---the recoveries trace to the alignment objective, not the backbone. On reaction the backbone alone already succeeds on 3/5--4/5 seeds, so each remedy covers a regime the other does not. Responses are also seed-specific: the same precision switch flips individual seeds in opposite directions and, on wave, lowers median error with no statistically significant success gain. Tightening the inner L-BFGS tolerance in an independent repeated-step runner likewise lowers median error at a large runtime cost, with success counts unchanged. Precision, stopping, backbone, and alignment must therefore be evaluated jointly and reported per seed.