The Origins of Stochasticity: Comprehensive Investigations on Uncertainty Quantification for Large Language Models

📄 arXiv: 2606.22792v1 📥 PDF

作者: Xiang-Jun Ou, Shuang Liang, Xin-Yu Hu, Rong-Hao Huang, Jing Wang, Shao-Qun Zhang

分类: cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出细粒度不确定性分类以解决大语言模型的预测可信度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 不确定性量化 细粒度分类 共识方法 模型评估

📋 核心要点

  1. 现有的不确定性量化方法未能有效捕捉LLM生成过程中的多组件和多阶段特性，导致预测可信度不足。
  2. 论文提出了一种细粒度的不确定性分类法，将不确定性源系统化为输入级、参数级、标记级和解码过程，并分类现有UQ方法。
  3. 实验结果显示，共识方法Deg和EigV在多种任务中表现优异，且更大的模型规模与较低的不确定性估计相关，验证了提出方法的有效性。

📝 摘要（中文）

近年来，大语言模型（LLMs）的进步使得复杂推理和内容生成成为可能，但其固有的随机性对预测可信度带来了重大挑战。传统的不确定性分类方法，如随机性和认知不确定性的二分法，虽然提供了概念基础，但往往无法捕捉LLM生成的多组件和多阶段特性，也难以评估各种不确定性量化（UQ）方法的有效性。本文提出了一种细粒度的不确定性分类法，将LLM的不确定性系统地归因于输入级、参数级、标记级和解码过程等来源，并将现有的UQ方法分为贝叶斯、集成、共识和单次方法。此外，我们引入了一个涵盖多种生成设置和指标的综合评估框架。通过在Qwen3、Llama 3.2和DeepSeek-V3等三大LLM家族上对21种典型UQ方法进行实证评估，结果表明UQ方法的有效性对任务类型和生成设置敏感，共识方法Deg和EigV始终优于其他UQ方法，且更大的模型规模与较低的不确定性估计相关，暗示了LLM不确定性的经验缩放法则。此研究弥合了理论起源与实际应用之间的差距，为系统量化LLM应用中的不确定性提供了多功能诊断工具。

🔬 方法详解

问题定义：本文旨在解决大语言模型生成过程中的不确定性量化问题，现有方法在多组件和多阶段特性上存在不足，难以全面评估不确定性。

核心思路：提出细粒度的不确定性分类法，将不确定性源分为输入级、参数级、标记级和解码过程，以便更系统地理解和量化LLM的不确定性。

技术框架：整体架构包括不确定性分类、UQ方法分类（贝叶斯、集成、共识、单次方法）和综合评估框架，涵盖多种生成设置和评估指标。

关键创新：最重要的创新在于细粒度的不确定性分类法，能够更全面地捕捉LLM生成过程中的不确定性来源，与传统方法相比，提供了更深入的分析视角。

关键设计：在实验中，采用了21种典型UQ方法，设置了多种任务和基准（如TriviaQA、GSM8K、HumanEval），并通过共识方法Deg和EigV进行性能评估，确保了实验的全面性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，共识方法Deg和EigV在多种任务中表现优于其他UQ方法，且在较大模型规模下，LLM的不确定性估计显著降低，验证了提出的经验缩放法则。这些发现为未来的模型设计和应用提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和生成式AI等，能够为开发更可靠的LLM提供理论支持和实践指导。通过系统量化不确定性，研究者和开发者可以更好地理解模型的局限性，从而提升模型的可信度和用户体验。

📄 摘要（原文）

Recent advancements in Large Language Models (LLMs) have enabled sophisticated reasoning and content generation, yet their inherent stochasticity poses significant challenges for ensuring predictive credibility. While traditional uncertainty taxonomy paradigms, such as the dichotomy of aleatoric and epistemic uncertainties, provide conceptual foundations, they often fail to capture the multi-component and multi-stage nature of LLM generation and struggle to evaluate the effectiveness of various Uncertainty Quantification (UQ) methods. In this paper, we propose a granular uncertainty taxonomy that systematically attributes LLM uncertainty into input-level, parameter-level, token-level, and decoding-process sources. Correspondingly, we categorize existing UQ methods into Bayesian, ensemble, consensus-based, and single-pass approaches. Furthermore, we introduce a comprehensive evaluation framework covering diverse generation settings and metrics. We empirically evaluate 21 typical UQ methods across three prominent LLM families, including Qwen3, Llama 3.2, and DeepSeek-V3, on benchmarks such as TriviaQA, GSM8K, and HumanEval. Our experimental results demonstrate that (i) the effectiveness of UQ methods is sensitive to task types and generation settings; (ii) consensus-based methods, typed Deg and EigV, consistently outperform other UQ approaches; and (iii) larger model scales correlate with lower uncertainty estimates, suggesting an empirical scaling law for LLM uncertainty. This work bridges the gap between theoretical origins and practical deployment, providing a versatile diagnostic tool for systematically quantifying uncertainty in LLM applications.