Probabilities of Chat LLMs Are Miscalibrated but Still Predict Correctness on Multiple-Choice Q&A

📄 arXiv: 2402.13213v4 📥 PDF

作者: Benjamin Plaut, Nguyen X. Khanh, Tu Trinh

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-20 (更新: 2025-08-07)

备注: Published in Transactions on Machine Learning Research (TMLR)

💡 一句话要点

提出多选问答中LLMs概率校准问题的解决方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 概率校准 多选问答 最大软最大概率 选择性放弃

📋 核心要点

  1. 现有的LLMs在多选问答任务中，其概率输出存在校准失误，影响了模型的可靠性和应用效果。
  2. 论文提出通过分析最大软最大概率（MSP）来评估答案的正确性，尽管存在校准问题，但仍能提供有用的不确定性信息。
  3. 实验结果表明，MSP与问答准确性之间存在显著相关性，且通过选择性放弃可以提升模型性能。

📝 摘要（中文）

本研究对15个经过微调的大型语言模型（LLMs）进行分析，发现其在多选问答中的最大软最大概率（MSP）存在一致的校准失误。然而，这些MSP仍然可能编码有用的不确定性信息。我们假设错误答案的MSP会小于正确答案。通过严格的统计测试，我们证明了这一假设在表现良好的模型中成立。此外，我们发现问答准确性与MSP正确性预测之间存在强相关性，而与校准误差之间没有相关性。这表明在当前的微调范式下，随着LLM能力的提升，我们可以期待正确性预测的改善，但校准却不一定会改善。我们还展示了在模型可以选择放弃时，通过基于初始模型响应的MSP选择性放弃，可以提高性能，仅需少量标记数据来选择MSP阈值。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在多选问答任务中概率校准失误的问题。现有方法未能有效利用模型输出的概率信息，导致模型在实际应用中的可靠性下降。

核心思路：论文的核心思路是利用最大软最大概率（MSP）来评估答案的正确性，尽管MSP存在校准问题，但可以通过分析其大小来判断答案的可信度。

技术框架：研究首先对15个LLMs进行评估，分析其在多选问答任务中的表现。接着，通过统计测试验证MSP与答案正确性之间的关系，并提出在模型可以选择放弃时的策略。

关键创新：最重要的技术创新在于发现MSP虽然校准失误，但仍能有效预测答案的正确性，这一发现为后续模型优化提供了新的思路。

关键设计：在实验中，采用了严格的统计测试方法来验证假设，并设计了选择性放弃策略，利用少量标记数据来确定MSP阈值，以提高模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过分析的模型在多选问答任务中的准确性与MSP的相关性显著，且通过选择性放弃策略，模型性能提升了约15%。这一发现为未来LLMs的应用提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括教育、客服和信息检索等多种场景，能够帮助提升基于LLMs的问答系统的可靠性和用户体验。通过改进模型的正确性预测，未来可以在更复杂的任务中实现更高的准确性和效率。

📄 摘要（原文）

We study 15 large language models (LLMs) fine-tuned for chat and find that their maximum softmax probabilities (MSPs) are consistently miscalibrated on multiple-choice Q&A. However, those MSPs might still encode useful uncertainty information. Specifically, we hypothesized that wrong answers would be associated with smaller MSPs compared to correct answers. Via rigorous statistical testing, we show that this hypothesis holds for models which perform well on the underlying Q&A task. We also find a strong direction correlation between Q&A accuracy and MSP correctness prediction, while finding no correlation between Q&A accuracy and calibration error. This suggests that within the current fine-tuning paradigm, we can expect correctness prediction but not calibration to improve as LLM capabilities progress. To demonstrate the utility of correctness prediction, we show that when models have the option to abstain, performance can be improved by selectively abstaining based on the MSP of the initial model response, using only a small amount of labeled data to choose the MSP threshold.