Enhancing Uncertainty Estimation in LLMs with Expectation of Aggregated Internal Belief

📄 arXiv: 2509.01564v1 📥 PDF

作者: Zeguan Xiao, Diyang Dou, Boya Xiong, Yun Chen, Guanhua Chen

分类: cs.CL

发布日期: 2025-09-01

💡 一句话要点

EAGLE：利用LLM内部信念聚合期望提升不确定性估计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 不确定性估计 置信度校准 自我评估 内部信念 强化学习 隐藏状态

📋 核心要点

  1. 现有LLM存在过度自信问题，尤其是在RLHF训练后，导致不准确的置信度估计，影响安全应用。
  2. EAGLE通过聚合LLM在自我评估过程中多个中间层的内部信念，计算期望置信度，从而更准确地反映模型的不确定性。
  3. 实验表明，EAGLE在多个数据集和LLM上显著提升了校准性能，优于现有方法，并进行了深入分析。

📝 摘要（中文）

大型语言模型(LLMs)在各种自然语言任务中取得了显著成功，但常常表现出过度自信，并生成看似合理但不正确的答案。这种过度自信，尤其是在经过人类反馈强化学习(RLHF)的模型中，对可靠的不确定性估计和安全部署提出了重大挑战。本文提出EAGLE(AGgregated internaL bEief的期望)，这是一种新颖的基于自我评估的校准方法，它利用LLMs的内部隐藏状态来获得更准确的置信度分数。我们的方法不是依赖模型的最终输出，而是从自我评估期间的多个中间层提取内部信念。通过聚合这些层级的信念并计算所得置信度分布的期望，EAGLE产生一个更真实地反映模型内部确定性的精细置信度分数。在不同的数据集和LLMs上进行的大量实验表明，EAGLE显著提高了优于现有基线的校准性能。我们还对EAGLE进行了深入分析，包括对不确定性模式的逐层检查、对自我评估提示影响的研究以及对自我评估分数范围影响的分析。

🔬 方法详解

问题定义：大型语言模型（LLMs）在生成文本时常常表现出过度自信，即使在给出错误答案时也如此。这种不准确的置信度估计对LLM的安全部署构成了挑战，尤其是在需要高可靠性的应用场景中。现有的方法往往依赖于模型的最终输出进行置信度评估，忽略了模型内部的决策过程，导致校准效果不佳。

核心思路：EAGLE的核心思路是利用LLM在生成答案过程中的内部隐藏状态，这些隐藏状态可以被视为模型在不同阶段的“信念”。通过聚合多个中间层的信念，并计算这些信念的期望值，EAGLE能够更全面地评估模型的不确定性。这种方法模拟了人类在做决策时会综合考虑多个角度和信息来源的过程。

技术框架：EAGLE方法主要包含以下几个阶段：1) 自我评估提示：使用特定的提示语引导LLM对自身生成的答案进行评估。2) 中间层信念提取：在LLM进行自我评估的过程中，提取多个中间层的隐藏状态，作为该层对答案的“信念”。3) 信念聚合：将不同层的信念进行聚合，例如通过加权平均或其他聚合函数。4) 期望计算：计算聚合后的信念分布的期望值，作为最终的置信度分数。

关键创新：EAGLE的关键创新在于它不再仅仅依赖于模型的最终输出，而是利用了模型内部的中间层信息。这种方法能够更全面地捕捉模型在生成答案过程中的不确定性，从而提高置信度估计的准确性。与现有方法相比，EAGLE更接近于模拟人类的认知过程，能够更好地反映模型的真实置信水平。

关键设计：EAGLE的关键设计包括：1) 中间层选择：选择哪些中间层进行信念提取会影响最终的校准效果。论文可能探讨了不同层选择策略的影响。2) 信念聚合函数：如何将不同层的信念进行聚合是一个重要的设计选择。可以使用简单的加权平均，也可以使用更复杂的聚合函数，例如基于注意力机制的聚合。3) 自我评估提示设计：提示语的设计会影响LLM的自我评估结果。论文可能研究了不同提示语对校准性能的影响。4) 置信度分数范围：自我评估的分数范围也会影响最终的校准效果。论文可能分析了不同分数范围的影响。

📊 实验亮点

实验结果表明，EAGLE在多个数据集和LLM上显著提高了校准性能，优于现有基线方法。论文通过层级分析、提示工程和分数范围分析，深入探讨了EAGLE的有效性。具体性能数据和提升幅度在论文中详细展示，证明了EAGLE在提升LLM不确定性估计方面的优越性。

🎯 应用场景

EAGLE可应用于各种需要可靠不确定性估计的LLM应用场景，例如医疗诊断、金融风险评估、自动驾驶等。通过提高LLM的置信度校准，可以减少模型犯错的概率，提高决策的安全性与可靠性。未来，EAGLE有望成为LLM安全部署的重要组成部分，促进LLM在更多关键领域的应用。

📄 摘要（原文）

Large Language Models (LLMs) have achieved remarkable success across a wide range of natural language tasks, but often exhibit overconfidence and generate plausible yet incorrect answers. This overconfidence, especially in models undergone Reinforcement Learning from Human Feedback (RLHF), poses significant challenges for reliable uncertainty estimation and safe deployment. In this paper, we propose EAGLE (Expectation of AGgregated internaL bEief), a novel self-evaluation-based calibration method that leverages the internal hidden states of LLMs to derive more accurate confidence scores. Instead of relying on the model's final output, our approach extracts internal beliefs from multiple intermediate layers during self-evaluation. By aggregating these layer-wise beliefs and calculating the expectation over the resulting confidence score distribution, EAGLE produces a refined confidence score that more faithfully reflects the model's internal certainty. Extensive experiments on diverse datasets and LLMs demonstrate that EAGLE significantly improves calibration performance over existing baselines. We also provide an in-depth analysis of EAGLE, including a layer-wise examination of uncertainty patterns, a study of the impact of self-evaluation prompts, and an analysis of the effect of self-evaluation score range.