Evaluating Uncertainty Calibration in Probabilistic Time Series Foundation Models

📄 arXiv: 2611.03592v1 📥 PDF

作者: Thomas Decker, Volker Tresp

分类: cs.LG, cs.AI

发布日期: 2026-11-02

备注: 40th Conference on Neural Information Processing Systems (NeurIPS 2026). Track on Evaluations and Datasets

💡 一句话要点

提出不确定性校准框架以提升时间序列基础模型的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 不确定性校准 概率模型 模型评估 实证分析 后处理方法 多时间段预测

📋 核心要点

  1. 现有的时间序列基础模型在不确定性估计方面存在显著的误校准问题，影响了预测的可靠性。
  2. 本文提出了一种新的不确定性校准评估框架，能够细致区分不同的校准形式，提升模型的评估准确性。
  3. 通过对多种流行模型的实证评估，发现当前模型存在系统性误校准，并提供了改善校准的实用建议。

📝 摘要（中文）

时间序列基础模型（TSFMs）在各个领域的概率预测中越来越受到重视，但其不确定性估计的可靠性仍然不够明确。本文从方法论和实证的角度研究了TSFMs中的不确定性校准，提出了一种分类法来描述TSFMs如何表示预测不确定性，并开发了一个细致的评估框架，用于多时间段预测中的校准评估。通过这一框架，本文对多种流行的TSFMs进行了全面的实证评估，发现当前模型存在明显且系统的误校准模式，这些模式常常被标准指标所掩盖。此外，本文还分析了常见的后处理校准方法，表征了它们能够改善的校准形式以及哪些问题仍然存在。研究结果为评估和改善TSFMs中的不确定性校准提供了实用指导，并强调了当前实践的重要局限性。

🔬 方法详解

问题定义：本文旨在解决时间序列基础模型在概率预测中不确定性估计的可靠性问题。现有方法往往未能准确反映模型的预测不确定性，导致误校准现象普遍存在。

核心思路：论文提出了一种细致的评估框架，能够从多个维度（如汇总、时间段、条件）对模型的不确定性校准进行分析。这种方法能够揭示模型在不同预测情境下的表现差异。

技术框架：整体架构包括三个主要模块：1) 不确定性表示的分类法；2) 校准评估框架的构建；3) 对多种流行TSFMs的实证评估。每个模块相互关联，共同支持对模型校准的深入分析。

关键创新：最重要的技术创新在于提出了多层次的校准评估框架，能够系统性地识别和分析模型的误校准模式。这一方法与传统的单一指标评估方法有本质区别。

关键设计：在评估过程中，采用了多种标准指标来量化校准效果，并对后处理校准方法进行了深入分析，探讨了其在不同校准形式下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前流行的时间序列基础模型在多种数据集上存在明显的误校准现象，且标准评估指标未能充分揭示这些问题。通过提出的评估框架，能够更清晰地识别模型的校准缺陷，为后续的模型改进提供了重要依据。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气候变化建模和供应链管理等。通过提升时间序列基础模型的不确定性校准能力，能够为决策者提供更可靠的预测信息，从而在复杂环境中做出更为精准的决策。未来，该研究可能推动相关领域的模型设计与评估标准的改进。

📄 摘要（原文）

Time series foundation models (TSFMs) are increasingly used for probabilistic forecasting across diverse domains, yet the reliability of their uncertainty estimates remains poorly understood. In this work, we study uncertainty calibration in probabilistic TSFMs from a broader methodological and empirical perspective. We introduce a taxonomy of how TSFMs represent predictive uncertainty and develop a fine-grained evaluation framework for calibration in multi-horizon forecasting that distinguishes pooled, horizon-wise, and stronger conditional notions of calibration. Using this framework, we conduct a comprehensive empirical evaluation of popular TSFMs across diverse datasets and show that current models exhibit distinct and systematic patterns of miscalibration that standard metrics often obscure. We further analyze common post-hoc recalibration methods and characterize which forms of calibration they can improve and which tend to persist. Our results provide practical guidance for evaluating and improving uncertainty calibration in TSFMs and highlight important limitations of current practice.