Reliability of Probabilistic Emulation of Physical Systems
作者: Sam F. Greenbury, Radka Jersakova, Paolo Conti, Marjan Famili, Christopher Iliffe Sprague, Edwin Brown, Jason D. McEwen
分类: cs.LG, stat.ML
发布日期: 2026-06-12
💡 一句话要点
提出框架评估物理系统的概率仿真可靠性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 概率预测 物理系统 生成模型 CRPS训练 不确定性评估 时空模型 数据生成 模块化框架
📋 核心要点
- 现有的生成模型和CRPS训练的模型集在物理系统的概率预测中表现良好，但其不确定性可靠性缺乏系统评估。
- 本文提出了一种评估框架，比较生成模型与CRPS训练的模型集在不同物理系统中的表现，重点关注不确定性和推理效率。
- 实验结果显示，CRPS训练的模型集在不确定性覆盖和推理速度上优于生成模型，尤其是在高维问题中表现突出。
📝 摘要（中文）
本文探讨了生成模型和注入随机性的确定性模型集在物理系统概率预测中的可靠性。尽管两者在预测准确性上表现良好，但其不确定性的可靠性尚未系统评估。为此，本文开发了一个框架，评估这两种方法在不同二维时空物理系统中的表现。研究发现，CRPS训练的模型集在单步预测和自回归展开中通常提供更可靠的不确定性，并且推理速度显著更快。为促进未来研究，本文发布了AutoCast和AutoSim两个模块化框架。
🔬 方法详解
问题定义：本文旨在解决物理系统概率预测中不确定性可靠性未被系统评估的问题。现有方法在准确性上表现良好，但不确定性评估缺乏全面性。
核心思路：论文提出了一种框架，通过比较生成模型与CRPS训练的模型集，评估其在不同物理系统中的不确定性和推理效率，以填补这一研究空白。
技术框架：整体架构包括模型训练、评估和比较三个主要模块。模型训练部分涉及生成模型和CRPS训练的模型集，评估部分则通过实证覆盖率和准确性指标进行对比。
关键创新：最重要的创新在于系统性地评估了两种方法的不确定性可靠性，发现CRPS训练的模型集在推理速度和不确定性覆盖上优于生成模型，尤其是在高维环境中。
关键设计：采用连续排名概率评分（CRPS）作为损失函数，确保模型在训练过程中优化不确定性覆盖。模型结构设计上，CRPS训练的模型集在潜在空间和环境空间中均表现出良好的覆盖性，且推理速度显著提升。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CRPS训练的模型集在单步预测和自回归展开中提供了更可靠的不确定性，其覆盖率优于生成模型，且推理速度提升显著。此外，当生成模型在环境空间中训练时，其覆盖率与CRPS训练的模型集相当，但推理延迟显著增加。
🎯 应用场景
该研究的潜在应用领域包括气象预测、金融市场分析和工程系统监控等。通过提供更可靠的不确定性评估，能够帮助决策者在复杂系统中做出更为精准的预测和决策，具有重要的实际价值和未来影响。
📄 摘要（原文）
Two dominant approaches have emerged for generating probabilistic forecasts of physical systems: generative models, such as diffusion or flow matching; and ensembles of deterministic models with stochasticity injected, trained using the continuous ranked probability score (CRPS) loss. While both approaches have demonstrated strong predictive accuracy, the reliability of their uncertainties has not been systematically assessed. We address this gap by developing a framework to evaluate both approaches across diverse 2D spatiotemporal physical systems, under matched model size and computational budget. We assess the reliability of probabilistic emulation by inspecting the empirical coverage of predictive intervals, while also considering accuracy and computational efficiency metrics. CRPS-trained ensembles typically achieve more reliable uncertainties on both single-step prediction and autoregressive rollouts, demonstrating better coverage than the standard alternative of training generative models in a latent space. Moreover, the CRPS approach offers significantly faster inference. When generative models are trained in ambient rather than a compressed latent space, which is often infeasible for high-dimensional problems, they exhibit comparable coverage to CRPS-trained ensembles, though with substantially larger inference latency. In contrast, when CRPS-trained ensembles are trained in latent space they do not show a marked degradation in coverage with respect to ambient space. Both generative models and CRPS-trained ensembles demonstrate good predictive accuracy. To facilitate future research and application, we release AutoCast, a modular framework implementing both generative models and CRPS-trained ensembles, alongside AutoSim, a flexible dataset generation package for rapid prototyping.