Out-of-distribution transfer of PDE foundation models to material dynamics under extreme loading

📄 arXiv: 2603.04354v1 📥 PDF

作者: Mahindra Rautela, Alexander Most, Siddharth Mansingh, Aleksandra Pachalieva, Bradley Love, Daniel O Malley, Alexander Scheinker, Kyle Hickmann, Diane Oyen, Nathan Debardeleben, Earl Lawrence, Ayan Biswas

分类: cs.LG

发布日期: 2026-03-04

💡 一句话要点

评估PDE基础模型在极端载荷下材料动力学中的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: PDE基础模型 材料动力学 极端载荷 分布外泛化 终端状态预测

📋 核心要点

  1. 现有的PDE基础模型主要针对流体动力学，在极端载荷下的材料动力学性能未知，面临分布外泛化挑战。
  2. 论文采用终端状态预测任务，直接从初始状态预测最终状态，避免中间监督，评估模型的长程映射能力。
  3. 通过对比预训练模型微调和从头训练，量化了POSEIDON和MORPH模型在冲击和断裂场景下的样本效率。

📝 摘要（中文）

大多数偏微分方程（PDE）基础模型都在以流体为中心的基准上进行预训练和微调。它们在极端载荷材料动力学下的效用尚不清楚。本文针对两种以不连续性为主的场景进行了分布外迁移的基准测试，其中冲击、演化的界面和断裂会产生高度非光滑的场：冲击驱动的多材料界面动力学（扰动分层界面或PLI）和动态断裂/失效演化（FRAC）。我们将下游任务定义为终端状态预测，即学习一个长程映射，直接从第一张快照预测最终状态，而无需中间监督。使用统一的训练和评估协议，我们评估了两个开源的预训练PDE基础模型POSEIDON和MORPH，并将从预训练权重进行微调与从头开始训练在不同训练集大小下的性能进行比较，以量化分布偏移下的样本效率。

🔬 方法详解

问题定义：论文旨在评估预训练的PDE基础模型在极端载荷下材料动力学中的泛化能力。现有PDE基础模型主要在流体动力学数据集上训练，缺乏在冲击、断裂等极端条件下的验证，直接应用可能效果不佳。因此，如何评估和提升PDE模型在分布外场景下的性能是本文要解决的核心问题。

核心思路：论文的核心思路是将下游任务定义为终端状态预测，即直接从初始状态预测最终状态。这种方式避免了对中间状态的监督，更贴近实际应用场景，并能有效评估模型的长程预测能力。同时，通过对比预训练模型微调和从头训练，可以量化预训练模型的迁移学习能力和样本效率。

技术框架：整体框架包括以下几个步骤：1) 选择两个具有代表性的极端载荷场景：冲击驱动的多材料界面动力学（PLI）和动态断裂/失效演化（FRAC）；2) 使用POSEIDON和MORPH两个开源PDE基础模型；3) 将下游任务定义为终端状态预测，即学习一个从初始状态到最终状态的映射；4) 分别进行预训练模型微调和从头训练，并对比不同训练集大小下的性能；5) 使用统一的训练和评估协议，量化模型在分布偏移下的样本效率。

关键创新：论文的关键创新在于：1) 首次将PDE基础模型应用于极端载荷下的材料动力学问题，并进行了系统的评估；2) 提出了终端状态预测任务，更贴近实际应用，并能有效评估模型的长程预测能力；3) 通过对比预训练模型微调和从头训练，量化了预训练模型的迁移学习能力和样本效率，为后续研究提供了参考。

关键设计：论文使用POSEIDON和MORPH作为基础模型，具体网络结构未详细描述（未知）。损失函数可能采用均方误差（MSE）或其他适用于回归问题的损失函数，用于衡量预测状态与真实状态之间的差异。训练集大小是影响模型性能的关键参数，论文通过对比不同训练集大小下的性能，评估模型的样本效率。具体训练细节（如学习率、优化器等）未详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文对比了POSEIDON和MORPH两个预训练模型在PLI和FRAC两个场景下的性能，发现预训练模型微调通常优于从头训练，尤其是在小样本情况下。具体性能提升幅度未给出明确数据（未知），但实验结果表明预训练模型具有一定的迁移学习能力，可以有效提高样本效率。

🎯 应用场景

该研究成果可应用于材料科学、工程力学等领域，例如预测材料在冲击、爆炸等极端条件下的响应，优化材料设计，提高结构安全性。未来，可以将该方法推广到更复杂的材料和载荷条件，开发更高效、更可靠的材料动力学预测模型。

📄 摘要（原文）

Most PDE foundation models are pretrained and fine-tuned on fluid-centric benchmarks. Their utility under extreme-loading material dynamics remains unclear. We benchmark out-of-distribution transfer on two discontinuity-dominated regimes in which shocks, evolving interfaces, and fracture produce highly non-smooth fields: shock-driven multi-material interface dynamics (perturbed layered interface or PLI) and dynamic fracture/failure evolution (FRAC). We formulate the downstream task as terminal-state prediction, i.e., learning a long-horizon map that predicts the final state directly from the first snapshot without intermediate supervision. Using a unified training and evaluation protocol, we evaluate two open-source pretrained PDE foundation models, POSEIDON and MORPH, and compare fine-tuning from pretrained weights against training from scratch across training-set sizes to quantify sample efficiency under distribution shift.