Probabilistic Retrofitting of Learned Simulators

📄 arXiv: 2603.01949v1 📥 PDF

作者: Cristiana Diaconu, Miles Cranmer, Richard E. Turner, Tanya Marwah, Payel Mukhopadhyay

分类: cs.LG, cs.AI, cs.CE

发布日期: 2026-03-02

备注: Code provided at https://github.com/cddcam/lola_crps

💡 一句话要点

通过概率追溯拟合，将预训练的确定性模拟器转化为概率模型，提升偏微分方程建模性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 概率建模 偏微分方程 不确定性量化 追溯拟合 连续排序概率分数

📋 核心要点

  1. 现有偏微分方程建模方法依赖确定性预测，无法有效处理物理系统中的内在不确定性和混沌性。
  2. 提出一种概率追溯拟合方法，将预训练的确定性模型转化为概率模型，充分利用已有资源，避免从头训练。
  3. 实验表明，该方法在多个动力系统和PDE基础模型上均能显著提升预测精度和不确定性量化能力，优于确定性微调。

📝 摘要（中文）

针对偏微分方程(PDEs)建模中确定性预测的局限性，本研究提出一种高效的策略，通过追溯拟合将预训练的确定性模型转化为概率模型。该方法利用连续排序概率分数(CRPS)作为合适的评分规则。此方法具有架构无关性，能够以最小的代码修改应用于不同的模型骨干网络。实验结果表明，对于在单个动力系统上训练的模型，该方法在rollout CRPS上实现了20-54%的降低，在方差归一化RMSE(VRMSE)上实现了高达30%的提升，优于计算量匹配的确定性微调。此外，在多系统上训练的PDE基础模型上验证了该方法，结果表明概率追溯拟合在CRPS上提升高达40%，在VRMSE上提升高达15%，优于确定性微调。经验证，概率PDE建模无需从头开始重新训练，可以通过对现有确定性骨干网络进行少量额外训练来实现。

🔬 方法详解

问题定义：现有的偏微分方程（PDE）建模方法主要依赖于确定性预测，然而许多物理系统本质上是混沌且不确定的。从头开始训练概率模型虽然可行，但计算成本高昂，并且无法有效利用已有的高性能确定性模型。

核心思路：本论文的核心思路是通过一种训练高效的策略，将预训练的确定性模型转化为概率模型。这种“追溯拟合”（retrofitting）方法利用合适的评分规则（Continuous Ranked Probability Score, CRPS）来指导模型的概率化过程。核心在于利用已有的确定性模型作为基础，通过少量训练使其具备预测概率分布的能力，从而更好地捕捉系统的不确定性。

技术框架：整体流程包括以下几个主要步骤：1) 首先，使用确定性模型进行预训练，得到一个高性能的确定性预测器。2) 然后，固定确定性模型的参数，引入一个概率输出层，该层负责预测概率分布的参数（例如，均值和方差）。3) 接着，使用CRPS作为损失函数，对概率输出层进行训练，使得模型能够更好地预测真实数据的概率分布。4) 最后，评估追溯拟合后的概率模型在各种指标上的性能，例如CRPS和VRMSE。

关键创新：该方法最重要的创新点在于其训练效率和架构无关性。与从头开始训练概率模型相比，追溯拟合方法只需要训练概率输出层，大大降低了计算成本。此外，该方法可以应用于不同的模型架构，无需针对特定架构进行修改，具有很强的通用性。本质区别在于，现有方法要么是确定性的，要么需要从头训练概率模型，而该方法则是在现有确定性模型的基础上进行概率化改造。

关键设计：关键设计包括：1) 使用CRPS作为损失函数，CRPS能够同时评估预测分布的准确性和校准性。2) 概率输出层的设计，需要根据具体的概率分布选择合适的参数化方法。例如，如果假设预测分布为高斯分布，则需要预测均值和方差。3) 训练策略，通常采用Adam优化器，并设置合适的学习率和训练轮数。此外，为了防止过拟合，可以采用dropout等正则化技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在单个动力系统上，该方法在rollout CRPS上实现了20-54%的降低，在VRMSE上实现了高达30%的提升，优于计算量匹配的确定性微调。在PDE基础模型上，该方法在CRPS上提升高达40%，在VRMSE上提升高达15%，同样优于确定性微调。这些结果表明，该方法能够有效地将确定性模型转化为概率模型，并显著提升预测性能。

🎯 应用场景

该研究成果可广泛应用于各种需要进行不确定性量化的物理系统建模，例如气候预测、流体动力学、材料科学等领域。通过将现有的确定性模型转化为概率模型，可以更准确地预测系统的行为，并评估预测的不确定性，从而为决策提供更可靠的依据。该方法还可以加速新模型的开发，降低计算成本。

📄 摘要（原文）

Dominant approaches for modelling Partial Differential Equations (PDEs) rely on deterministic predictions, yet many physical systems of interest are inherently chaotic and uncertain. While training probabilistic models from scratch is possible, it is computationally expensive and fails to leverage the significant resources already invested in high-performing deterministic backbones. In this work, we adopt a training-efficient strategy to transform pre-trained deterministic models into probabilistic ones via retrofitting with a proper scoring rule: the Continuous Ranked Probability Score (CRPS). Crucially, this approach is architecture-agnostic: it applies the same adaptation mechanism across distinct model backbones with minimal code modifications. The method proves highly effective across different scales of pre-training: for models trained on single dynamical systems, we achieve 20-54% reductions in rollout CRPS and up to 30% improvements in variance-normalised RMSE (VRMSE) relative to compute-matched deterministic fine-tuning. We further validate our approach on a PDE foundation model, trained on multiple systems and retrofitted on the dataset of interest, to show that our probabilistic adaptation yields an improvement of up to 40% in CRPS and up to 15% in VRMSE compared to deterministic fine-tuning. Validated across diverse architectures and dynamics, our results show that probabilistic PDE modelling need not require retraining from scratch, but can be unlocked from existing deterministic backbones with modest additional training cost.