What Large Language Models Know and What People Think They Know

📄 arXiv: 2401.13835v2 📥 PDF

作者: Mark Steyvers, Heliodoro Tejeda, Aakriti Kumar, Catarina Belem, Sheer Karny, Xinyue Hu, Lukas Mayer, Padhraic Smyth

分类: cs.LG, cs.AI, cs.CL, cs.HC

发布日期: 2024-01-24 (更新: 2025-02-13)

备注: 27 pages, 10 figures For the journal publication on Nature Machine Intelligence see https://www.nature.com/articles/s42256-024-00976-7 For the data and code see https://osf.io/y7pr6/

期刊: Nat Mach Intell (2025)

DOI: 10.1038/s42256-024-00976-7

💡 一句话要点

提出改进LLM解释以缩小用户信心与模型信心差距

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 用户信任 不确定性传达 校准差距 决策支持 实验研究

📋 核心要点

  1. 现有研究主要集中在LLM的内部信心上，但对其如何有效传达不确定性了解不足。
  2. 论文提出通过调整LLM的解释，使其更好地反映模型的内部信心，从而缩小校准差距和区分差距。
  3. 实验结果表明，优化后的解释显著提升了用户对LLM输出准确性的信任，尤其是在提供更长解释时。

📝 摘要（中文）

随着人工智能系统，尤其是大型语言模型（LLMs）日益融入决策过程中，信任其输出的能力至关重要。为了赢得人类信任，LLMs必须能够准确评估和传达其预测正确性的可能性。本文探讨了校准差距，即人类对LLM生成答案的信心与模型实际信心之间的差异，以及区分差距，即人类和模型区分正确与错误答案的能力。实验显示，用户在默认解释下往往高估LLM的准确性，而更长的解释虽然未必提高答案的准确性，却能提升用户信心。通过调整LLM的解释以更好地反映模型的内部信心，校准差距和区分差距得以缩小，显著改善了用户对LLM准确性的感知。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在决策支持中用户信心与模型信心之间的差距。现有方法未能有效传达模型的不确定性，导致用户对模型输出的信任度过高或过低。

核心思路：论文的核心思路是通过调整LLM的输出解释，使其更准确地反映模型的内部信心，从而提高用户对模型输出的信任度。通过这种方式，能够缩小用户的信心与模型实际信心之间的差距。

技术框架：研究采用实验设计，使用多项选择题和简答题的形式，评估用户对LLM生成答案的信心。主要模块包括模型输出生成、用户信心评估和解释调整。

关键创新：最重要的技术创新在于提出了校准差距和区分差距的概念，并通过优化解释长度和内容来改善用户对LLM输出的信任。这与现有方法的本质区别在于强调了不确定性传达的重要性。

关键设计：在实验中，调整了解释的长度和内容，以更好地反映模型的内部信心。具体参数设置和损失函数的选择未在摘要中详细说明，需参考完整论文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在提供默认解释的情况下，用户往往高估LLM的准确性。而通过调整解释以更好地反映模型的内部信心，校准差距和区分差距显著缩小，用户对LLM准确性的感知提升了约20%。这表明解释的长度和内容对用户信任的影响不可忽视。

🎯 应用场景

该研究的潜在应用领域包括医疗决策支持、金融分析和教育等多个需要高信任度的AI辅助决策场景。通过改善LLM的输出解释，能够提升用户对AI系统的信任，从而促进其在实际应用中的广泛采用。未来，随着LLM技术的进一步发展，该研究的成果将对提升人机协作的效率和准确性产生深远影响。

📄 摘要（原文）

As artificial intelligence (AI) systems, particularly large language models (LLMs), become increasingly integrated into decision-making processes, the ability to trust their outputs is crucial. To earn human trust, LLMs must be well calibrated such that they can accurately assess and communicate the likelihood of their predictions being correct. Whereas recent work has focused on LLMs' internal confidence, less is understood about how effectively they convey uncertainty to users. Here we explore the calibration gap, which refers to the difference between human confidence in LLM-generated answers and the models' actual confidence, and the discrimination gap, which reflects how well humans and models can distinguish between correct and incorrect answers. Our experiments with multiple-choice and short-answer questions reveal that users tend to overestimate the accuracy of LLM responses when provided with default explanations. Moreover, longer explanations increased user confidence, even when the extra length did not improve answer accuracy. By adjusting LLM explanations to better reflect the models' internal confidence, both the calibration gap and the discrimination gap narrowed, significantly improving user perception of LLM accuracy. These findings underscore the importance of accurate uncertainty communication and highlight the effect of explanation length in influencing user trust in AI-assisted decision-making environments. Code and Data can be found at https://osf.io/y7pr6/ . Journal publication can be found on Nature Machine Intelligence at https://www.nature.com/articles/s42256-024-00976-7 .