Grounding Predictive Reliability through Masked Observability

📄 arXiv: 2610.39728v1 📥 PDF

作者: Shang Gao, Bernhard Sick, Franz Götz-Hahn

分类: cs.LG

发布日期: 2026-10-29

💡 一句话要点

提出MORSE以解决预测不确定性语义模糊问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 不确定性估计 预测建模 高斯过程 机器学习 时间序列分析

📋 核心要点

  1. 现有的NIG证据回归方法在预测变异性分解上存在语义模糊，无法有效识别数据规模和预测均值的分配。
  2. MORSE通过控制可见上下文的变化来预测隐藏目标，并利用归一化的跨上下文变化来量化预测均值的不确定性。
  3. 在高斯过程基准测试中，MORSE在所有九个测试设置中表现出最低的对数方差误差，且在低标签转移和轨迹预测上均有显著提升。

📝 摘要（中文）

不确定性估计只有在其语义与可观察的预测行为相联系时才有意义。本文提出的MORSE（Masked Observability for Reliable Structured Encoding）通过控制可见上下文的变化来预测相同的隐藏目标，并利用归一化的跨上下文变化来确定预测均值的不确定性。MORSE在高斯过程基准测试中表现优异，具有最低的对数方差误差，并在低标签转移和轨迹预测中显示出显著的改进。

🔬 方法详解

问题定义：本文旨在解决不确定性估计的语义模糊问题，现有方法无法有效识别预测变异性中的数据规模和预测均值的分配。

核心思路：MORSE通过控制可见上下文的变化来预测相同的隐藏目标，利用归一化的跨上下文变化来确定预测均值的不确定性，从而消除语义模糊。

技术框架：MORSE的整体架构包括输入的可见上下文、隐藏目标的预测、归一化的跨上下文变化计算以及高斯目标的学习，形成一个高效的前向推理流程。

关键创新：MORSE的主要创新在于引入了归一化的变化量作为NIG因子，提供了一种新的可观察性方差度量，区别于现有方法的重采样变异性。

关键设计：MORSE采用高斯目标来学习条件均值和数据规模，设计了特定的损失函数以优化预测性能，并在每个观察状态中实现了可观察性估计的单次前向传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MORSE在高斯过程基准测试中表现出最低的对数方差误差，相较于其他证据、集成和丢弃估计器，均在九个测试设置中取得了显著的性能提升。此外，MORSE在低标签转移和轨迹预测任务中也显示出优越的效果。

🎯 应用场景

该研究的潜在应用领域包括时间序列预测、金融市场分析和医疗数据分析等，能够为不确定性量化提供更可靠的工具，提升模型在实际应用中的表现和可信度。未来，MORSE有望在更多复杂场景中应用，推动智能系统的决策能力。

📄 摘要（原文）

An uncertainty estimate is meaningful only if its semantics can be tied to observable predictive behavior. Normal-Inverse-Gamma (NIG) evidential regression provides a structured decomposition of predictive variability into data-scale and predictive-mean components, but marginal likelihood does not identify their allocation. We address this semantic ambiguity in masked representation learning. MORSE (Masked Observability for Reliable Structured Encoding) predicts the same hidden target under controlled changes in visible context and uses normalized cross-context variation to ground predictive-mean uncertainty, while a Gaussian objective learns the conditional mean and data scale. The normalized variation plays the role of the NIG factor $1/ν$, which the marginal leaves unidentified; this yields a policy-relative observability variance that measures dependence on visible evidence, distinct from variation induced by resampling the training set. On a Gaussian-process benchmark with a contextual reference built from analytic Bayes conditional means, MORSE has the lowest log-variance error among compared evidential, ensemble, and dropout estimators in all nine tested settings, while the estimator closest to training-set variation perturbs the model rather than its context in every setting, so the two references separate the estimators empirically. MORSE amortizes observability estimation into one forward pass per observation state. On a heteroscedastic pulse benchmark, its predictor's cross-context variance approaches a large-sample reference as training data increase. MORSE also improves low-label transfer on PTB-XL and in-distribution trajectory prediction on IMPTC.