BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs

📄 arXiv: 2608.30646v1 📥 PDF

作者: Debarpan Bhattacharya, Malay Phadke, Sriram Ganapathy

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-08-31

备注: 22 pages, 9 figures

期刊: EMNLP 2026 Main Conference

💡 一句话要点

提出BiG-SURE以解决LLMs的不确定性估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性估计 大型语言模型 二分图 语义一致性 黑箱模型 多模态问答 文本问答 NLI模型

📋 核心要点

  1. 现有的不确定性估计方法在黑箱模型设置中缺乏可靠性，难以在安全关键场景中应用。
  2. BiG-SURE通过构建锚点-探测二分图，利用交叉温度语义一致性来估计不确定性，提供了一种新的思路。
  3. 实验结果表明，BiG-SURE在多个问答任务中显著提高了平均弃权AUROC，相较于传统方法表现更优。

📝 摘要（中文）

可靠的不确定性估计是将大型语言模型（LLMs）和视觉语言模型（VLMs）应用于安全关键环境中的重要需求，尤其是在模型参数不可访问的情况下（黑箱）。本文提出了BiG-SURE，一种基于交叉温度语义一致性的估计方法。该方法将低温响应作为稳定的语义锚点，高温响应作为在保持语义不变的输入变换下的探测。通过NLI基础的蕴含分数构建锚点-探测二分图（BiG），并通过该矩阵的归一化平方谱能量定义置信度，利用其补集表示不确定性。该方法在文本问答、多语言问答和多模态问答任务上进行了评估，结果显示BiG-SURE在平均弃权AUROC上优于先前的黑箱不确定性估计器，同时保持简单、无监督，并适用于黑箱模型设置。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）和视觉语言模型（VLMs）在黑箱设置下的不确定性估计问题。现有方法在安全关键应用中缺乏可靠性，无法有效评估模型输出的可信度。

核心思路：BiG-SURE的核心思路是通过交叉温度语义一致性来估计不确定性。它将低温响应视为稳定的语义锚点，而高温响应则作为在输入变换下的探测，确保语义的一致性。

技术框架：该方法的整体架构包括两个主要阶段：首先，生成低温和高温的模型响应；其次，利用NLI基础的蕴含分数构建锚点-探测二分图（BiG），并通过该图的谱能量计算置信度和不确定性。

关键创新：BiG-SURE的创新在于引入了二分图结构来量化语义不确定性，利用谱能量作为置信度的度量，这一方法与现有的黑箱不确定性估计方法有本质区别。

关键设计：在实现中，BiG-SURE使用了低温和高温的响应采样策略，结合NLI模型的蕴含分数来构建二分图，确保了模型在不同温度下的输出能够有效反映语义一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个文本问答、多语言问答和多模态问答任务中，BiG-SURE显著提高了平均弃权AUROC，相较于传统黑箱不确定性估计器，提升幅度明显，展示了其在不确定性估计方面的优越性。

🎯 应用场景

BiG-SURE的研究成果在多个领域具有潜在应用价值，尤其是在医疗、自动驾驶和金融等安全关键场景中。通过提供可靠的不确定性估计，该方法能够增强模型在复杂环境中的决策能力，提升安全性和可信度。

📄 摘要（原文）

Reliable uncertainty estimation is a crucial requirement for deploying large language models (LLMs) and vision-language models (VLMs) in safety-critical settings, especially when the model parameters are not accessible (black-box). We propose BiG-SURE, an uncertainty estimator based on cross-temperature semantic agreement. The method samples low-temperature responses as stable semantic anchors and high-temperature responses as probes under meaning-preserving input transformations. It then constructs an anchor-probe Bipartite Graph (BiG) using NLI-based entailment scores and defines confidence through the normalized squared spectral energy of this matrix, with uncertainty given by its complement. This bipartite graph-based Semantic Uncertainty and Reliability Estimation (SURE) score measures whether high-temperature probes remain semantically aligned with the model's stable low-temperature belief or not. We evaluate BiG-SURE on text QA, multilingual QA, and multimodal QA tasks across multiple model families. In these experiments, BiG-SURE improves average abstention AUROC over prior black-box uncertainty estimators, while remaining simple, unsupervised, and applicable to black-box model settings.