Eliciting Numerical Predictive Distributions of LLMs Without Autoregression

📄 arXiv: 2603.02913v1 📥 PDF

作者: Julianna Piskorz, Katarzyna Kobalczyk, Mihaela van der Schaar

分类: cs.LG, cs.AI

发布日期: 2026-03-03

备注: First two authors contributed equally. Published as a conference paper at ICLR2026

💡 一句话要点

提出一种无需自回归的LLM数值预测分布提取方法，降低计算成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数值预测 预测分布 回归探针 不确定性估计 时间序列预测 内部表征

📋 核心要点

  1. 传统LLM在连续值回归任务中，自回归解码过程计算成本高昂，限制了其应用。
  2. 该论文提出通过训练回归探针，直接从LLM内部表征预测数值输出分布的统计量。
  3. 实验表明，LLM嵌入包含预测分布的统计信息，为轻量级不确定性预测提供了可能。

📝 摘要（中文）

大型语言模型（LLM）最近已成功应用于回归任务，如时间序列预测和表格预测，这得益于其上下文学习能力。然而，其自回归解码过程可能不适合连续值输出，因为获得数值目标的预测分布需要重复采样，导致高计算成本和推理时间。本文研究了是否可以在没有显式自回归生成的情况下恢复LLM预测的分布属性。为此，我们研究了一组回归探针，这些探针经过训练，可以直接从LLM的内部表示预测其数值输出分布的统计泛函（例如，均值、中位数、分位数）。结果表明，LLM嵌入携带了关于其预测分布的汇总统计信息的信号，包括数值不确定性。这项研究为LLM如何在内部编码数值任务中的不确定性，以及基于采样的不确定性感知数值预测方法的可行替代方案提出了新的问题。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在处理数值回归任务时，特别是需要预测数值的概率分布时，通常采用自回归的方式生成多个样本，然后通过这些样本来估计分布的统计特性。这种方法计算量大，推理速度慢，难以满足实时性要求高的应用场景。因此，如何高效地从LLM中提取数值预测分布是一个重要的挑战。

核心思路：该论文的核心思路是，LLM的内部表征（embeddings）已经包含了关于其预测分布的丰富信息，包括均值、方差等统计量。因此，可以通过训练一些轻量级的回归模型（称为“探针”），直接从LLM的内部表征中预测这些统计量，从而避免了耗时的自回归采样过程。

技术框架：整体框架包括以下几个步骤：1. 使用LLM对输入数据进行编码，得到内部表征。2. 将LLM的内部表征输入到一组回归探针中。3. 每个回归探针负责预测一个特定的统计量，例如均值、中位数、分位数等。4. 将所有回归探针的输出组合起来，得到对数值预测分布的估计。

关键创新：该论文的关键创新在于，它证明了LLM的内部表征包含了足够的信息来直接预测数值预测分布的统计量，而无需进行自回归采样。这为高效地从LLM中提取数值预测分布提供了一种新的思路。与传统的基于采样的方法相比，该方法计算量更小，推理速度更快。

关键设计：回归探针可以使用简单的线性模型或多层感知机（MLP）。损失函数可以选择均方误差（MSE）或Huber损失等。关键在于如何选择合适的LLM内部表征作为输入，以及如何设计回归探针的结构和训练策略，以最大程度地提取LLM内部表征中包含的关于数值预测分布的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了回归探针能够有效地从LLM的内部表征中提取数值预测分布的统计信息。实验结果表明，该方法在预测均值、中位数和分位数等统计量方面取得了良好的性能，并且显著降低了计算成本。与基于采样的方法相比，该方法在保持预测精度的同时，大大提高了推理速度。

🎯 应用场景

该研究成果可应用于时间序列预测、金融风险评估、医疗诊断等领域，在这些领域中，不仅需要预测数值结果，还需要评估预测的不确定性。通过降低LLM数值预测的计算成本，可以加速这些应用的部署和推广，并为决策提供更可靠的依据。未来，该方法有望扩展到更复杂的数值预测任务中。

📄 摘要（原文）

Large Language Models (LLMs) have recently been successfully applied to regression tasks -- such as time series forecasting and tabular prediction -- by leveraging their in-context learning abilities. However, their autoregressive decoding process may be ill-suited to continuous-valued outputs, where obtaining predictive distributions over numerical targets requires repeated sampling, leading to high computational cost and inference time. In this work, we investigate whether distributional properties of LLM predictions can be recovered without explicit autoregressive generation. To this end, we study a set of regression probes trained to predict statistical functionals (e.g., mean, median, quantiles) of the LLM's numerical output distribution directly from its internal representations. Our results suggest that LLM embeddings carry informative signals about summary statistics of their predictive distributions, including the numerical uncertainty. This investigation opens up new questions about how LLMs internally encode uncertainty in numerical tasks, and about the feasibility of lightweight alternatives to sampling-based approaches for uncertainty-aware numerical predictions.