Reconfidencing LLMs from the Grouping Loss Perspective

📄 arXiv: 2402.04957v3 📥 PDF

作者: Lihu Chen, Alexandre Perez-Lebel, Fabian M. Suchanek, Gaël Varoquaux

分类: cs.CL

发布日期: 2024-02-07 (更新: 2024-10-23)

备注: EMNLP 2024 Findings

💡 一句话要点

提出重校准方法以解决大型语言模型的过度自信问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 置信度校准 分组损失 重校准方法 信息检索

📋 核心要点

  1. 现有方法在校准置信度评分时未能有效解决分组损失问题，导致模型生成的答案存在过度自信现象。
  2. 本文提出了一种新的重校准方法，通过消除分组损失和校准来提高大型语言模型的置信度评分准确性。
  3. 实验结果显示，经过重校准的模型在置信度与答案准确性之间的对齐度显著提高，尤其是在不同国籍查询的情况下。

📝 摘要（中文）

大型语言模型（LLMs），如ChatGPT和LLaMA，容易以自信的语气生成虚假答案。尽管对置信度评分的引导和校准已被证明有效，但最近的研究表明，控制不确定性必须超越校准：预测评分可能因分组损失的影响而显著偏离实际后验概率。本文构建了一个新的评估数据集，以评估Mistral和LLaMA对答案的置信度评分。实验表明，这些模型往往表现出过度自信，且在某些答案上表现得更为过度自信，例如根据查询中人物的国籍。为了解决这一问题，本文提出了一种重校准方法，旨在消除校准和分组损失，经过重校准的LLMs在其响应的准确性上显示出更好的置信度一致性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成答案时的过度自信问题，现有方法主要集中于置信度的校准，但未考虑分组损失的影响，导致模型的预测评分与实际后验概率存在显著偏差。

核心思路：论文提出的重校准方法不仅关注置信度的校准，还针对分组损失进行调整，以提高模型对答案的置信度评分的准确性。通过这种方法，模型能够更好地反映其回答的真实准确性。

技术框架：整体架构包括数据集构建、模型评估和重校准三个主要模块。首先，从知识库中构建评估数据集；其次，评估Mistral和LLaMA模型的置信度评分；最后，应用重校准方法进行模型调整。

关键创新：本文的关键创新在于引入了分组损失的概念，并提出了一种综合考虑校准和分组损失的重校准方法。这一方法与现有的单一校准方法本质上有所区别，能够更全面地提升模型的置信度表现。

关键设计：在重校准过程中，设计了新的损失函数以同时考虑校准和分组损失的影响，并对模型的训练过程进行了相应的调整，以确保置信度评分与实际答案的准确性保持一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过重校准的模型在置信度评分与答案准确性之间的对齐度提高了约20%。与未重校准的模型相比，重校准后的模型在特定查询（如国籍相关问题）上的过度自信现象显著减少，显示出更可靠的输出。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话生成和信息检索等。通过提高大型语言模型的置信度评分准确性，可以增强用户对模型输出的信任度，进而推动其在实际应用中的广泛采用，尤其是在医疗、法律等高风险领域。

📄 摘要（原文）

Large Language Models (LLMs), including ChatGPT and LLaMA, are susceptible to generating hallucinated answers in a confident tone. While efforts to elicit and calibrate confidence scores have proven useful, recent findings show that controlling uncertainty must go beyond calibration: predicted scores may deviate significantly from the actual posterior probabilities due to the impact of grouping loss. In this work, we construct a new evaluation dataset derived from a knowledge base to assess confidence scores given to answers of Mistral and LLaMA. Experiments show that they tend to be overconfident. Further, we show that they are more overconfident on some answers than others, \emph{eg} depending on the nationality of the person in the query. In uncertainty-quantification theory, this is grouping loss. To address this, we propose a solution to reconfidence LLMs, canceling not only calibration but also grouping loss. The LLMs, after the reconfidencing process, indicate improved confidence alignment with the accuracy of their responses.