Quantifying Uncertainty in Natural Language Explanations of Large Language Models

📄 arXiv: 2311.03533v1 📥 PDF

作者: Sree Harsha Tanneru, Chirag Agarwal, Himabindu Lakkaraju

分类: cs.CL

发布日期: 2023-11-06

💡 一句话要点

量化大型语言模型解释的不确定性以提升可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 不确定性量化 自然语言处理 模型可信度 解释生成

📋 核心要点

  1. 现有方法无法有效评估大型语言模型生成解释的可靠性，导致信任度不足。
  2. 论文提出通过语言化不确定性和探测不确定性两种新指标，量化LLM解释的不确定性。
  3. 实验证明，探测不确定性与解释的可信度相关，提供了对现有方法的改进方向。

📝 摘要（中文）

大型语言模型（LLMs）在多个高风险自然语言处理应用中被广泛使用。近期的研究尝试通过提示生成中间推理步骤和关键标记，作为LLM预测的代理解释。然而，目前尚不确定这些解释的可靠性及其是否反映了LLM的行为。本文首次尝试量化LLM解释中的不确定性，提出了两种新颖的度量标准——“语言化不确定性”和“探测不确定性”，以量化生成解释的不确定性。实证分析表明，语言化不确定性并不是解释置信度的可靠估计，而探测不确定性与解释的可信度相关，较低的不确定性对应于更高可信度的解释。该研究为量化LLM解释中的不确定性提供了见解，促进了对基础模型可信度的更广泛讨论。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成的解释是否可靠的问题。现有方法缺乏有效的度量标准，无法准确评估解释的可信度和不确定性。

核心思路：本文提出了两种新颖的度量方法——语言化不确定性和探测不确定性。前者通过提示模型表达其对解释的信心，后者则利用样本和模型扰动来量化不确定性。

技术框架：整体框架包括数据准备、模型训练、指标计算和结果分析四个主要模块。首先，使用基准数据集进行模型训练，然后计算两种不确定性指标，最后进行结果分析和验证。

关键创新：最重要的创新在于提出了量化LLM解释不确定性的两种新指标，尤其是探测不确定性与解释的可信度之间的相关性，为理解模型行为提供了新的视角。

关键设计：在设计中，语言化不确定性通过特定的提示策略引导模型输出信心评分，而探测不确定性则通过对输入样本和模型参数进行扰动来评估不确定性，确保了度量的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，探测不确定性与解释的可信度呈现显著相关性，较低的不确定性对应于更高的解释可信度。这一发现为未来的模型优化和解释生成提供了重要的参考依据。

🎯 应用场景

该研究的潜在应用领域包括高风险决策支持系统、自动化客服和医疗诊断等。通过量化LLM解释的不确定性，可以提升模型的可信度，帮助用户更好地理解和信任模型的输出，进而推动其在实际应用中的广泛采用。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used as powerful tools for several high-stakes natural language processing (NLP) applications. Recent prompting works claim to elicit intermediate reasoning steps and key tokens that serve as proxy explanations for LLM predictions. However, there is no certainty whether these explanations are reliable and reflect the LLMs behavior. In this work, we make one of the first attempts at quantifying the uncertainty in explanations of LLMs. To this end, we propose two novel metrics -- $\textit{Verbalized Uncertainty}$ and $\textit{Probing Uncertainty}$ -- to quantify the uncertainty of generated explanations. While verbalized uncertainty involves prompting the LLM to express its confidence in its explanations, probing uncertainty leverages sample and model perturbations as a means to quantify the uncertainty. Our empirical analysis of benchmark datasets reveals that verbalized uncertainty is not a reliable estimate of explanation confidence. Further, we show that the probing uncertainty estimates are correlated with the faithfulness of an explanation, with lower uncertainty corresponding to explanations with higher faithfulness. Our study provides insights into the challenges and opportunities of quantifying uncertainty in LLM explanations, contributing to the broader discussion of the trustworthiness of foundation models.