Methods to Estimate Large Language Model Confidence

📄 arXiv: 2312.03733v2 📥 PDF

作者: Maia Kotelanski, Robert Gallo, Ashwin Nayak, Thomas Savage

分类: cs.CL, cs.AI

发布日期: 2023-11-28 (更新: 2023-12-08)

💡 一句话要点

提出评估大语言模型信心的方法以解决医疗诊断挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 医疗诊断 信心评估 自一致性协议 思维链 模型准确性 人工智能

📋 核心要点

  1. 大语言模型在医疗诊断中难以表达不确定性，限制了其应用效果。
  2. 本研究提出通过自一致性协议频率等方法来评估大语言模型的信心。
  3. 实验结果显示，自一致性协议频率与模型的观察准确性相关性更强，表现优于其他方法。

📝 摘要（中文）

大语言模型在表达不确定性方面存在困难，这对其在复杂医疗任务中的应用构成了重大障碍。本研究评估了在提出诊断时测量大语言模型信心的方法。通过使用思维链和自一致性提示，GPT-4被询问了一系列具有挑战性的案例问题。研究发现，自一致性协议频率与观察到的准确性相关，且在接收者操作特征曲线下面积上优于内在信心和思维链响应长度。自一致性协议是评估模型信心的最有用的代理，尤其是在医疗诊断中。模型的内在信心和思维链响应长度在区分正确与错误答案方面表现较弱，因此不能作为可靠的信心标记。研究结论是，GPT-4在评估自身诊断准确性方面能力有限，自一致性协议频率是测量GPT-4信心的最佳方法。

🔬 方法详解

问题定义：本研究旨在解决大语言模型在医疗诊断中无法有效表达信心的问题。现有方法如内在信心和思维链响应长度在区分正确与错误答案时表现不佳，缺乏可靠性和可解释性。

核心思路：论文提出通过自一致性协议频率来评估模型信心，认为这种方法能够更好地反映模型的真实表现，尤其是在复杂的医疗案例中。

技术框架：研究首先使用思维链和自一致性提示对GPT-4进行询问，然后通过多种方法评估模型的信心，包括内在信心、自一致性协议频率和思维链响应长度。最后，比较这些方法与模型观察到的准确性之间的相关性。

关键创新：最重要的技术创新在于提出自一致性协议频率作为评估模型信心的有效代理，与传统的内在信心和思维链响应长度相比，具有更强的相关性和可靠性。

关键设计：在实验中，设置了不同的提示方式和评估指标，特别关注自一致性协议频率的计算方法，以确保其能够准确反映模型的信心水平。

📊 实验亮点

实验结果显示，自一致性协议频率与观察到的准确性之间具有显著相关性，其接收者操作特征曲线下面积高于内在信心和思维链响应长度，表明其在评估模型信心方面的优越性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、临床决策支持和智能医疗助手等。通过提高大语言模型在复杂任务中的信心评估能力，可以增强其在实际应用中的可靠性和有效性，推动医疗领域的智能化进程。

📄 摘要（原文）

Large Language Models have difficulty communicating uncertainty, which is a significant obstacle to applying LLMs to complex medical tasks. This study evaluates methods to measure LLM confidence when suggesting a diagnosis for challenging clinical vignettes. GPT4 was asked a series of challenging case questions using Chain of Thought and Self Consistency prompting. Multiple methods were investigated to assess model confidence and evaluated on their ability to predict the models observed accuracy. The methods evaluated were Intrinsic Confidence, SC Agreement Frequency and CoT Response Length. SC Agreement Frequency correlated with observed accuracy, yielding a higher Area under the Receiver Operating Characteristic Curve compared to Intrinsic Confidence and CoT Length analysis. SC agreement is the most useful proxy for model confidence, especially for medical diagnosis. Model Intrinsic Confidence and CoT Response Length exhibit a weaker ability to differentiate between correct and incorrect answers, preventing them from being reliable and interpretable markers for model confidence. We conclude GPT4 has a limited ability to assess its own diagnostic accuracy. SC Agreement Frequency is the most useful method to measure GPT4 confidence.