When Do Supervised UQ Ensembles Improve LLM Hallucination Detection? A Robustness Study

📄 arXiv: 2608.24492v1 📥 PDF

作者: Mohit Singh Chauhan, Vipin Gyanchandani, Dylan Bouchard

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-25

💡 一句话要点

提出监督式集成方法以提升LLM幻觉检测的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性量化 幻觉检测 大型语言模型 监督学习 集成方法 鲁棒性分析 自然语言处理

📋 核心要点

  1. 现有的UQ方法在幻觉检测中面临鲁棒性不足的问题，尤其是在缺乏真实证据的情况下。
  2. 本文提出了一种监督式集成框架，通过训练分类器来结合多个UQ评分器的输出，提升幻觉检测的准确性。
  3. 实验结果显示，监督集成在30个设置中超越最佳单一评分器，且在领域转移情况下依然保持优势。

📝 摘要（中文）

不确定性量化（UQ）方法广泛应用于大型语言模型（LLM）的幻觉检测，尤其是在推理时缺乏真实证据的闭卷环境中。尽管已有研究提出通过学习集成来结合UQ信号，但对这些集成的鲁棒性实证研究仍然有限。本文研究了一种监督式集成框架，该框架在小规模领域特定的标注LLM响应数据集上训练分类器，基于异构UQ评分器的输出进行幻觉分类。通过对四种LLM、九个数据集和三种生成模式的系统鲁棒性分析，发现监督集成在32种设置中有30种超越了最佳单一评分器，且在仅使用100个标注实例的情况下即可实现显著提升。

🔬 方法详解

问题定义：本文旨在解决在缺乏真实证据的情况下，如何有效检测大型语言模型的幻觉现象。现有方法在鲁棒性和准确性方面存在不足，尤其是在不同数据集和生成模式下的表现不稳定。

核心思路：论文提出的核心思路是构建一个监督式集成框架，通过训练一个分类器来整合多个基于UQ的评分器的输出，从而提升幻觉检测的准确性和鲁棒性。这样的设计能够有效利用不同评分器的优势，减少单一评分器可能带来的偏差。

技术框架：整体架构包括三个主要模块：首先，收集和标注领域特定的LLM响应数据集；其次，训练多个UQ评分器并生成评分输出；最后，使用监督学习方法训练分类器以整合这些评分器的输出，进行幻觉分类。

关键创新：本文的关键创新在于提出了一种有效的监督式集成方法，能够在不同生成模式和数据集上保持较高的鲁棒性。这与现有方法的本质区别在于，现有方法往往依赖于单一评分器，而本文通过集成多个评分器显著提升了检测性能。

关键设计：在实验中，使用了小规模的标注数据集进行训练，损失函数采用交叉熵损失，网络结构设计为多层感知机，以适应不同UQ评分器的输出特征。实验结果表明，集成方法在样本效率和领域转移方面表现优异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，监督式集成方法在32种设置中有30种超越了最佳单一评分器，且在领域转移情况下，集成方法在28个设置中有23种表现优于非集成评分器。仅使用100个标注实例即可实现显著提升，显示出该方法的样本效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的幻觉检测、智能问答系统和自动代码生成等。通过提升LLM的幻觉检测能力，可以增强这些系统的可靠性和用户信任度，进而推动其在实际应用中的广泛采用。未来，该方法还可以扩展到其他领域的模型评估与优化。

📄 摘要（原文）

Uncertainty quantification (UQ) methods are widely used for hallucination detection in large language models (LLMs) in closed-book settings where ground-truth evidence is unavailable at inference time. Prior work has proposed combining UQ signals via learned ensembles, but empirical investigations into the robustness of these ensembles are limited. We study a supervised ensembling framework that trains a classifier over heterogeneous UQ-based scorer outputs on a small, domain-specific dataset of labeled LLM responses, then applies it to out-of-sample hallucination classification without retrieval, tools, or reference documents. Across four LLMs, nine datasets, and three generation regimes (short-form QA, long-form generation, and code generation), we provide a systematic robustness analysis along three axes: sample efficiency, in-domain dataset transfer, and generation regime dependence. We find that supervised ensembles outperform the best individual scorer in 30 of 32 settings, with gains realized from as few as 100 labeled instances. Ensembles retain most of their advantage in cases of in-domain transfer under distribution shift, outperforming the best non-ensemble scorer in 23 of 28 transfer settings. Sampling-based black-box ensembles are nearly as effective as full ensembles, while single-generation white-box ensembles offer limited benefit.