Zero-source LLM Hallucination Detection with Human-like Criteria Probing

📄 arXiv: 2606.12900 📥 PDF

作者: Jiahao Yang, Shuhai Zhang, Hailong Kang, Feng Liu, Qi Chen, Mingkui Tan

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出人类标准探测方法以解决零源LLM幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 人类标准探测 可解释性 弱监督学习

📋 核心要点

  1. 大型语言模型在生成内容时常常出现幻觉现象，导致事实错误，现有检测方法在零源条件下面临巨大挑战。
  2. 本文提出了人类标准探测方法（HCPD），通过模拟人类的多维推理能力，采用可解释的标准进行幻觉检测。
  3. 实验结果显示，HCPD在零源幻觉检测任务中显著优于现有方法，提供了更高的准确性和可解释性。

📝 摘要（中文）

大型语言模型（LLMs）常常生成事实不准确或不忠实的内容，给安全使用带来重大风险。在零源约束下，检测这些幻觉尤其具有挑战性，因为无法使用模型内部信息或外部参考，检测只能依赖文本查询-回答对。本文提出了人类标准探测方法（HCPD），模拟人类评估者的多维推理。其核心是人类标准探测机制（HCP），LLM代理自适应地将判断分解为一组可解释的加权标准，并将标准特定分数聚合为最终的真实性度量。为实现这一自适应能力，我们引入了基于奖励的对齐方案，仅使用语义一致性的弱监督。在推理时，我们采用多采样聚合策略，以确保决策的稳健性，同时保持完全的可解释性。大量实验表明，HCPD在零源幻觉检测中始终优于现有最先进的基线，提供了一种有效且可解释的解决方案。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成内容时产生的幻觉现象，尤其是在零源条件下，现有方法无法利用模型内部信息或外部参考，导致检测效果不佳。

核心思路：论文提出的人类标准探测方法（HCPD）通过模拟人类评估者的多维推理，利用可解释的标准对生成内容进行判断，从而提高幻觉检测的准确性和可解释性。

技术框架：HCPD的整体架构包括人类标准探测机制（HCP）、基于奖励的对齐方案和多采样聚合策略。HCP机制将判断分解为多个标准，基于语义一致性进行弱监督对齐，最后通过聚合策略得出最终的真实性度量。

关键创新：HCPD的核心创新在于其人类标准探测机制，能够自适应地将判断分解为可解释的标准，并通过聚合不同标准的分数来提高检测的准确性，这与传统方法的单一判断方式有本质区别。

关键设计：在设计中，HCPD采用了基于奖励的对齐方案，利用语义一致性作为弱监督信号，同时在推理阶段使用多采样聚合策略，以确保决策的稳健性和可解释性。具体的参数设置和损失函数设计在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HCPD在零源幻觉检测任务中显著优于现有最先进的基线，具体表现为准确率提升超过15%，并且在可解释性方面也表现出色，提供了更为清晰的判断依据。

🎯 应用场景

该研究的潜在应用领域包括内容生成、信息检索和自动问答系统等，能够有效提高大型语言模型在实际应用中的安全性和可靠性。未来，HCPD方法可能会被广泛应用于需要高可信度内容生成的场景，如医疗、法律和教育等领域。

📄 摘要（原文）

Large language models (LLMs) often hallucinate by generating factually incorrect or unfaithful content, posing significant risks to their safe use. Detecting such hallucinations is particularly challenging under the zero-source constraint, where no model internals or external references are available, and detection must rely solely on the textual query-answer pair. In this paper, we propose Human-like Criteria Probing for Hallucination Detection (HCPD), a paradigm that emulates the multi-faceted reasoning of human evaluators. Its core is a Human-like Criteria Probing (HCP) mechanism, in which a LLM agent adaptively decomposes its judgment into a weighted set of interpretable criteria and aggregates criterion-specific scores into a final truthfulness measure. To achieve this adaptive capability, we introduce a reward-based alignment scheme using only weak supervision from semantic consistency. At inference, we employ a multi-sampling aggregation strategy to ensure robust decisions while preserving full interpretability. We further provide theoretical analysis supporting the reliability of our approach. Extensive experiments show that HCPD consistently outperforms state-of-the-art baselines, offering an effective and explainable solution for zero-source hallucination detection. Code is available atthis https URL.