Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention
作者: Sotirios P. Chatzis, Loukas Papadoulas
分类: cs.LG
发布日期: 2026-08-19
备注: 23 pages, 2 figures. Under review at TMLR
💡 一句话要点
提出Lévy Attention以解决时间序列预测的不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列预测 不确定性评估 深度学习 随机积分 泊松随机测度
📋 核心要点
- 现有深度学习模型在处理不规则时间序列时，无法有效评估预测结果的可信度，导致决策不够可靠。
- 本文提出Lévy Attention，通过随机积分的方式，在生成预测的同时提供可信度评估，弥补了这一不足。
- 实验结果表明，Lévy Attention在稀疏数据集上表现优异，且在多个基准测试中显著提升了预测的准确性和可信度。
📝 摘要（中文）
深度模型在处理不规则采样的时间序列时，能够在任意连续时间戳上回答查询，但无法评估每个答案的可信度。本文提出Lévy Attention，通过适当的随机公式，利用注意力层在预测的同时报告可信度。该方法基于非齐次泊松随机测度的交叉注意力操作，输出为随机积分，能够在不增加计算成本的情况下，提供预测的可信度信息。实验证明，该方法在稀疏数据上表现出色，显著提高了预测的准确性和可信度。
🔬 方法详解
问题定义：本文旨在解决深度学习模型在处理不规则时间序列时，无法评估预测结果可信度的问题。现有方法通常忽略了这一重要信息，导致预测结果的可靠性不足。
核心思路：Lévy Attention通过引入随机积分的方式，在生成预测的同时，利用交叉注意力操作提供可信度评估。这种设计使得模型能够在不增加额外计算成本的情况下，输出预测的可信度信息。
技术框架：该方法的整体架构包括查询-键兼容性计算、非齐次泊松随机测度的应用，以及对预测结果的插值平均。主要模块包括注意力层和随机积分计算。
关键创新：Lévy Attention的核心创新在于利用泊松随机测度保留了传统softmax层丢弃的信息，能够在闭合形式中提供证据和不确定性度量，与现有方法相比，显著提升了模型的可信度评估能力。
关键设计：在模型设计中，采用了精确的方差身份来结合证据和不确定性度量，确保了输出的可信度信息的准确性。此外，模型训练过程中使用了精确的梯度计算，确保了训练的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Lévy Attention在t-PatchGNN上与匹配控制组相比，准确率损失不超过5.6%，在最稀疏的数据集上几乎没有损失。此外，该方法在20次MC dropout的实验中表现优于传统方法，且其零样本CRPS超越了五十次抽样器，显示出显著的性能提升。
🎯 应用场景
Lévy Attention在医疗、金融和气象等领域具有广泛的应用潜力，尤其是在需要实时预测和决策支持的场景中。通过提供预测结果的可信度评估，该方法能够帮助决策者更好地理解和利用模型输出，从而提高决策的可靠性和有效性。
📄 摘要（原文）
Deep models for irregularly-sampled time series answer queries at arbitrary continuous timestamps, yet report nothing about how far each answer should be trusted. We show the attention layer itself can close that gap: with the right stochastic formulation, the pass that makes each prediction also reports, in closed form and at no extra cost, how far it should be trusted. We introduce Lévy Attention, a cross-attention operator whose output is a stochastic integral against an inhomogeneous Poisson random measure: query-key compatibilities assemble an intensity over a continuous (time x channel) index space, the measure scatters atoms under it, and the output averages an interpolated value field at those atoms. In expectation it reduces to a mollified cosine-kernel attention, so it replaces a softmax layer and trains with exact gradients. What softmax discards, the Poisson construction preserves in closed form: the evidence $Λ_q$ (total compatibility mass) and the disagreement $\mathrm{tr}\,Σ_V(q)$ (value spread). An exact variance identity makes their combination $\hatσ(q)=\sqrt{\mathrm{tr}\,Σ_V(q)\,\varphi(Λ_q)}$ the root-mean-square deviation of the sampled operator, emitted by the deterministic pass with no trained head. Empirically, disagreement carries the signal, while the evidence factor swings from uninformative on dense data to strongly informative on sparse. On t-PatchGNN the operator swap costs at most 5.6% accuracy against a matched control and nothing on the sparsest dataset. The free disagreement signal improves on 20-pass MC dropout across matched five-seed suites, and $\hatσ$ scales a calibrated Gaussian whose zero-sample CRPS beats a fifty-draw sampler; a split-conformal wrapper reaches nominal coverage at every level, and one pass ranks 3,383 unseen patients by trust in 1.4 seconds.