Reliability of Probabilistic Emulation of Physical Systems

📄 arXiv: 2606.12997v1 📥 PDF

作者: Sam F. Greenbury, Radka Jersakova, Paolo Conti, Marjan Famili, Christopher Iliffe Sprague, Edwin Brown, Jason D. McEwen

分类: cs.LG, stat.ML

发布日期: 2026-06-11

💡 一句话要点

提出框架评估物理系统的概率预测可靠性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 概率预测 物理系统 生成模型 CRPS训练 不确定性评估 模型集成 时空数据 计算效率

📋 核心要点

  1. 现有的生成模型和确定性模型集成在物理系统的概率预测中不确定性可靠性评估不足。
  2. 本文提出了一个评估框架，比较生成模型与CRPS训练的模型集成在不同物理系统中的表现。
  3. 实验结果显示，CRPS训练的模型集成在不确定性和推理速度上优于生成模型，且二者均具备良好的预测准确性。

📝 摘要（中文）

本文探讨了生成模型和注入随机性的确定性模型集成在物理系统概率预测中的可靠性。尽管这两种方法在预测准确性上表现良好，但其不确定性的可靠性尚未系统评估。我们开发了一个框架，评估这两种方法在不同二维时空物理系统中的表现，重点考察预测区间的经验覆盖率、准确性和计算效率。结果表明，CRPS训练的模型集成在单步预测和自回归展开中通常具有更可靠的不确定性，并且推理速度显著更快。为促进未来研究，我们发布了AutoCast和AutoSim两个模块化框架。

🔬 方法详解

问题定义：本文旨在解决物理系统概率预测中不确定性可靠性评估的不足，现有方法未能系统比较生成模型与CRPS训练的模型集成的表现。

核心思路：我们开发了一个框架，通过评估预测区间的经验覆盖率来比较这两种方法的可靠性，考虑准确性和计算效率。

技术框架：框架包括数据生成、模型训练和评估三个主要模块。数据生成模块负责创建多样的二维时空物理系统，模型训练模块分别训练生成模型和CRPS训练的模型集成，评估模块则比较它们的预测性能。

关键创新：本文的创新在于系统性地评估了两种不同方法的可靠性，发现CRPS训练的模型集成在不确定性和推理速度上具有显著优势。

关键设计：使用连续排名概率评分（CRPS）损失函数训练模型集成，同时对比生成模型在不同空间（潜在空间与环境空间）中的表现，确保了评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CRPS训练的模型集成在单步预测和自回归展开中表现出更可靠的不确定性，覆盖率优于生成模型，且推理速度显著更快。具体而言，CRPS方法在高维问题中表现出与生成模型相当的覆盖率，但推理延迟显著降低。

🎯 应用场景

该研究的潜在应用领域包括气象预测、金融风险评估以及其他需要高可靠性概率预测的物理系统。通过提供更可靠的预测不确定性评估，能够帮助决策者在复杂环境中做出更明智的选择，提升系统的安全性和效率。

📄 摘要（原文）

Two dominant approaches have emerged for generating probabilistic forecasts of physical systems: generative models, such as diffusion or flow matching; and ensembles of deterministic models with stochasticity injected, trained using the continuous ranked probability score (CRPS) loss. While both approaches have demonstrated strong predictive accuracy, the reliability of their uncertainties has not been systematically assessed. We address this gap by developing a framework to evaluate both approaches across diverse 2D spatiotemporal physical systems, under matched model size and computational budget. We assess the reliability of probabilistic emulation by inspecting the empirical coverage of predictive intervals, while also considering accuracy and computational efficiency metrics. CRPS-trained ensembles typically achieve more reliable uncertainties on both single-step prediction and autoregressive rollouts, demonstrating better coverage than the standard alternative of training generative models in a latent space. Moreover, the CRPS approach offers significantly faster inference. When generative models are trained in ambient rather than a compressed latent space, which is often infeasible for high-dimensional problems, they exhibit comparable coverage to CRPS-trained ensembles, though with substantially larger inference latency. In contrast, when CRPS-trained ensembles are trained in latent space they do not show a marked degradation in coverage with respect to ambient space. Both generative models and CRPS-trained ensembles demonstrate good predictive accuracy. To facilitate future research and application, we release AutoCast, a modular framework implementing both generative models and CRPS-trained ensembles, alongside AutoSim, a flexible dataset generation package for rapid prototyping.