When Linguistic and Internal Confidence Diverge in Large Language Models
作者: Hefan Zhang, Bingquan Zhang, Ming Cheng, Saeed Hassanpour, Weicheng Ma, Soroush Vosoughi
分类: cs.CL, cs.AI
发布日期: 2026-08-28
💡 一句话要点
研究语言模型信心报告与内部信心的差异
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 信心评估 多轴诊断 模型对齐 分类任务 生成任务 指令调优
📋 核心要点
- 现有大型语言模型在报告信心时，语言信心与内部信心之间的关系尚不明确，导致用户对模型输出的可靠性产生疑虑。
- 本文通过对多种任务和模型的分析，提出了比较语言信心与内部信心的多轴诊断方法，以揭示二者之间的差异。
- 实验结果表明，语言信心与内部信心在多个维度上经常出现不一致，尤其在指令调优模型中表现尤为明显，提示需要更精细的信心评估方法。
📝 摘要（中文）
用户常要求大型语言模型（LLMs）报告其信心，但这种语言信心是否与模型的内部信心一致尚不明确。本文研究了8个分类任务、2个生成任务及来自三种模型家族的30个模型，比较了语言信心与基于logits的信心在关联性、幅度一致性和校准等三个方面的表现。结果显示，这两者经常出现分歧，尤其在实例级别的关联性较弱。指令调优模型通常报告更高的信心，但也存在更大的信心差距和较差的校准。研究表明，语言信心的分布特性在很大程度上解释了观察到的对齐模式，建议在下游可靠性管道中使用前需进行多轴诊断评估。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在报告信心时，语言信心与内部信心之间的差异性问题。现有方法未能有效评估这种信心的对齐程度，导致用户对模型输出的信任度降低。
核心思路：通过对8个分类任务和2个生成任务的分析，比较语言信心与基于logits的内部信心，提出多轴诊断方法来评估二者的关联性和校准程度。
技术框架：研究采用了多种模型和任务，首先收集模型在不同任务上的信心评分，然后分析这些评分在不同维度上的表现，包括关联性、幅度一致性和校准。
关键创新：本文的主要创新在于提出了多轴诊断框架，系统性地分析了语言信心与内部信心之间的差异，揭示了指令调优模型在信心报告上的特殊表现。
关键设计：在实验中，采用了回归分析来探讨信心评分的分布特性，并控制模型元数据的影响，确保结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，指令调优模型在信心报告上表现出更高的信心值，但同时也存在更大的信心差距和较差的校准。通过多轴诊断，发现语言信心与内部信心的关联性在不同任务和模型中存在显著差异，提示需要更精细的信心评估方法。
🎯 应用场景
该研究为大型语言模型的信心评估提供了新的视角，能够帮助开发者更好地理解和改进模型的输出可靠性。未来可在智能客服、自动问答系统等领域应用，以提升用户体验和信任度。
📄 摘要（原文）
Users often ask large language models (LLMs) to report how confident they are, but it is unclear whether such linguistic confidence tracks the model's internal confidence. We study this question across 8 classification tasks, 2 generation tasks and 30 models from three families. For classification, we compare linguistic confidence with logits-based confidence along three axes: association, magnitude agreement and calibration. For generation, we test whether linguistic confidence tracks semantic-entropy-based uncertainty. The axes frequently diverge. Instance-level association is weak on average, although it improves on easier items and for stronger base models. Instruction-tuned models often report higher confidence and sometimes show higher association, but they also have larger confidence gaps and worse calibration. Prompt design mostly changes the distribution of reported confidence. Attitude cues inflate confidence without improving alignment, while score exemplars can preserve rank-order signal when they avoid collapsed confidence values. Regression analyses show that distributional properties of confidence scores explain much of the observed alignment pattern, with model metadata playing a smaller role after controls. These results support a lossy-channel view of linguistic confidence. A more dispersed verbal confidence distribution can carry useful rank information, but it does not make the scores calibrated. Linguistic confidence should therefore be evaluated with multi-axis diagnostics before being used in downstream reliability pipelines.