Credal Large Language Models for Semantic Commitment under Uncertainty

📄 arXiv: 2608.23244v1 📥 PDF

作者: Shireen Kudukkil Manchingal, Sofiia Nikolenko, Fabio Cuzzolin

分类: cs.CL, cs.AI, cs.LG, stat.ML

发布日期: 2026-08-24

备注: 31 pages, 5 figures, 13 tables

💡 一句话要点

提出Credal大型语言模型以解决不确定性下的语义承诺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 不确定性建模 信念集 语义承诺 幻觉检测 选择性预测 自然语言处理

📋 核心要点

  1. 现有的标准大型语言模型在处理不确定性时，往往将认知无知与真正的模糊性混淆，导致生成的答案不够可靠。
  2. 本文提出的Credal大型语言模型通过集成LoRA适配器，形成信念集，能够更好地表示预测分布的范围，提供更准确的语义承诺。
  3. 实验结果显示，CLLM在多个问答任务上表现优异，CTC在幻觉检测中表现最佳，且在选择性预测中达到了99.0%的准确率。

📝 摘要（中文）

大型语言模型（LLMs）常常生成流畅但不正确的答案，并且表现出不必要的自信。其核心限制在于，标准LLMs通过单一预测分布来表示不确定性，混淆了认知无知与真正的模糊性。本文提出了Credal大型语言模型（CLLMs），通过LoRA适配器的集成，诱导出一个信念集，其下限和上限概率揭示了合理预测分布的范围，而不是简化为单一的softmax输出。基于这一表示，我们推导出两种互补的承诺评分。Credal Token Commitment（CTC）是一个基于token的评分，结合了下限支持、信念宽度和交集熵，而Semantic Commitment Consistency（SCC）则通过采样完成扩展到语义空间，SCC-Gap衡量token级别和语义级别支持之间的差异。我们在多个数据集上评估了幻觉检测、校准、选择性预测和推理，结果表明CLLM在QA准确性和预期校准误差方面表现最佳。

🔬 方法详解

问题定义：本文旨在解决标准大型语言模型在不确定性下生成答案时的自信过度问题，现有方法无法有效区分认知无知与真正的模糊性。

核心思路：提出Credal大型语言模型（CLLMs），通过LoRA适配器的集成，形成信念集，利用下限和上限概率来揭示预测分布的多样性，避免简化为单一输出。

技术框架：CLLM的整体架构包括LoRA适配器的集成、信念集的构建、以及基于该信念集的两种承诺评分（CTC和SCC），通过这些模块实现对不确定性的更精确建模。

关键创新：最重要的创新在于引入了信念集的概念，使得模型能够同时输出多个预测分布，而不是仅仅依赖单一的softmax输出，从而更好地反映不确定性。

关键设计：在模型设计中，CTC结合了下限支持、信念宽度和交集熵，而SCC则通过采样完成来扩展到语义空间，确保了对不同层次支持的有效评估。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，CLLM在多个数据集上表现优异，尤其在OpenBookQA上，CLLM与SCC结合实现了99.0%的准确率，而在ARC-Challenge中，CLLM的Csem置信度达到了0.6%以下的预期校准误差，展现了其在选择性预测和幻觉检测中的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统以及信息检索等场景。通过更准确地处理不确定性，CLLM能够提升模型在实际应用中的可靠性和用户体验，未来可能对智能助手和自动化系统的开发产生深远影响。

📄 摘要（原文）

Large language models (LLMs) often produce fluent but incorrect answers with unwarranted confidence. A central limitation is that standard LLMs represent uncertainty through a single predictive distribution, conflating epistemic ignorance with genuine ambiguity. We introduce Credal Large Language Models (CLLMs): an ensemble of LoRA adapters induces a credal set whose lower and upper probabilities expose the spread of plausible predictive distributions rather than collapsing to a single softmax output. From this representation we derive two complementary commitment scores. Credal Token Commitment (CTC) is a token-space score that combines lower-bound support, credal width, and intersection entropy, computed without additional generation. Semantic Commitment Consistency (SCC) extends commitment to semantic space using sampled completions, with SCC-Gap measuring the mismatch between token-level and semantic-level support. We evaluate hallucination detection, calibration, selective prediction, and reasoning on Gemma-2-9B, Llama-3.1-8B, and Qwen2.5-7B across OpenBookQA, CoQA, TriviaQA, and ARC-Challenge. CLLM is the best method on QA accuracy at competitive expected calibration error, and CTC tracks the best hallucination AUROC within 1.5 pp on most settings without additional generation. On selective prediction at 80% coverage, CLLM with SCC reaches 99.0% accuracy on OpenBookQA, and on ARC-Challenge CLLM with Csem confidence achieves <= 0.6% ECE across the three backbones.