From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models
作者: Ponhvoan Srey, Xiaobao Wu, Cong-Duy Nguyen, Quang Minh Nguyen, Duc Anh Vu, Anh Tuan Luu
分类: cs.CL, cs.AI
发布日期: 2026-06-26
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于探针的不确定性估计方法以解决大语言模型的幻觉检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性估计 大语言模型 探针方法 幻觉检测 特征分析 模型鲁棒性 自然语言处理
📋 核心要点
- 现有的探针基于的不确定性估计方法在特征设计和评估设置上存在显著差异，导致性能驱动因素不明确。
- 本文提出了一种分解研究方法，在匹配条件下分析探针基于的不确定性估计，以揭示不同特征的表现。
- 实验结果显示，结构化和压缩特征在分布转移下表现更为鲁棒，且提示和标签构建对探针行为有显著影响。
📝 摘要（中文）
基于探针的不确定性估计（UE）已成为检测大语言模型（LLMs）幻觉的显著方法，通过学习模型内部信号的不确定性。然而，现有方法在特征设计、训练数据构建和评估设置上存在显著差异，导致性能驱动因素不明。为了解决这一问题，本文在匹配条件下对基于探针的UE进行了分解研究。结果表明，原始隐藏状态和注意力特征在领域内表现难以超越，但在分布转移下，结构化和压缩特征更具鲁棒性，表明仅依赖领域内性能不足以衡量进展。此外，提示和标签构建显著影响探针行为。基于这些最佳实践发现，我们训练了基于基准的预训练探针，能够合理地迁移到开放式事实生成任务中，提供了稳定的现成基线。我们的工作鼓励对基于探针的不确定性估计器进行更多面向部署的评估。
🔬 方法详解
问题定义：本文旨在解决现有探针基于不确定性估计方法在特征设计和评估设置上的不一致性，导致性能驱动因素不明的问题。
核心思路：通过在匹配条件下进行分解研究，分析不同特征在不同条件下的表现，从而揭示哪些特征在特定场景中更具优势。
技术框架：研究流程包括数据收集、特征提取、模型训练和评估四个主要模块。首先，收集适当的训练数据，然后提取原始隐藏状态、注意力特征以及结构化和压缩特征，最后进行模型训练和性能评估。
关键创新：本文的创新在于提出了一种系统化的分解研究方法，能够在匹配条件下比较不同特征的表现，揭示在分布转移情况下的鲁棒性。
关键设计：在特征提取中，采用了多种特征设计，包括原始隐藏状态、注意力特征以及经过结构化和压缩的特征，损失函数设计上注重于提高模型在分布转移下的鲁棒性。实验中还考虑了提示和标签构建对探针行为的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在分布转移情况下，结构化和压缩特征的鲁棒性显著优于传统的原始隐藏状态和注意力特征。此外，研究还发现提示和标签构建对探针行为有显著影响，为未来的研究提供了新的方向。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的幻觉检测、对话系统的可靠性提升以及开放式事实生成任务。通过提供稳定的基线，研究成果可以帮助开发更为可靠的语言模型，提升其在实际应用中的表现和安全性。
📄 摘要（原文）
Probe-based uncertainty estimation (UE) has emerged as a prominent approach to detect hallucinations in Large Language Models (LLMs) by learning uncertainty from internal model signals. Yet, recent methods vary simultaneously across feature design, training data construction, and evaluation setting, obscuring what actually drives performance. To address this issue, we propose a factorised study of probe-based UE under matched conditions. Our results show that raw hidden states and attention features are difficult to outperform in-domain. However, under distribution shift, structured and compressed features are more robust, suggesting that in-domain performance alone is insufficient to measure progress. Furthermore, prompting and label construction significantly affect probe behaviour. Building on these best-practice findings, we train benchmark-based pretrained probes that transfer reasonably well to open-ended factual generation, providing a stable off-the-shelf baseline. Our work encourages more deployment-oriented evaluation of probe-based uncertainty estimators. The code repository is available at https://github.com/ponhvoan/ProbeUE.