When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection
作者: Rounak Sen, Divya Kumari, Deeksha Varshney
分类: cs.CL, cs.AI
发布日期: 2026-11-03
备注: 8 figures, 11 tables
💡 一句话要点
提出自动标注方法以解决大语言模型幻觉检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 幻觉检测 自动标注 大语言模型 相似性度量 自然语言处理 模型评估 数据集
📋 核心要点
- 现有的幻觉检测方法依赖于自动生成的标签，这些标签的可靠性受到质疑，尤其是基于相似性度量的标签构建方法。
- 论文提出了一种新的自动标注方法，旨在提高幻觉检测的准确性，强调需要更可靠的评判标准来捕捉语义和事实的正确性。
- 通过对多种模型和数据集的实验，研究表明不同的监督评判者对检测器性能有显著影响，QGen-9B的误分类率最低。
📝 摘要（中文）
大语言模型（LLMs）中的幻觉现象仍然是一个主要挑战，因为它们可能生成误导性、事实不准确或无法验证的信息，从而削弱其可信度和可靠性。然而，可靠的真实标签在评估幻觉检测器时仍然是一个关键挑战。现有研究通常通过使用BLEURT等相似性度量将模型生成与参考答案进行比较，自动构建标签。这种方法隐含地将BLEURT相似性视为幻觉的代理，尽管其监督方式以英语为中心、得分范围无限且设计为相似性度量而非事实性度量，使得基于阈值的真实标签构建可能不可靠。通过使用15个自动监督评判者、七个幻觉检测基线、两个生成模型、两个问答数据集和五种语言的综合实验，我们展示了检测器性能在选择监督评判者时的显著差异。人类验证显示标注可靠性存在显著差异，其中QGen-9B的整体误分类率最低（12.86%），而BLEURT和BLEURT-n的误分类率分别为47.23%和47.32%。我们的研究结果突显了基于自动相似性标注的局限性，以及需要更可靠的评判方法以更好地捕捉语义和事实的正确性。
🔬 方法详解
问题定义：本论文旨在解决大语言模型生成文本中的幻觉现象检测问题，现有方法在自动标签生成时存在可靠性不足的痛点，尤其是基于相似性度量的标签构建可能导致误分类。
核心思路：论文的核心解决思路是通过引入多种自动监督评判者，评估其对幻觉检测器性能的影响，从而寻找更可靠的标注方法。这样的设计旨在克服传统相似性度量的局限性，提供更准确的标签。
技术框架：整体架构包括多个阶段：首先，使用不同的自动监督评判者生成标签；其次，基于这些标签评估幻觉检测器的性能；最后，通过人类验证比较不同评判者的标注可靠性。主要模块包括数据集准备、模型生成、标签生成和性能评估。
关键创新：最重要的技术创新点在于引入了多种自动监督评判者，并系统性地评估其对幻觉检测器性能的影响，这与现有方法单一依赖相似性度量的本质区别在于更全面的评估标准。
关键设计：在实验中，使用了15个不同的自动监督评判者，评估了七个幻觉检测基线和两个生成模型，关键参数设置包括评判者选择和标签生成策略，确保了实验的多样性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，QGen-9B的整体误分类率为12.86%，显著低于BLEURT和BLEURT-n的47.23%和47.32%。这表明不同的自动监督评判者对幻觉检测器性能有显著影响，强调了选择合适评判者的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、问答系统和对话系统等。通过提高幻觉检测的准确性，可以增强大语言模型的可信度和可靠性，从而在实际应用中更好地服务于用户需求，未来可能推动更广泛的AI应用落地。
📄 摘要（原文）
Hallucinations in Large Language Models (LLMs) remain a major challenge, as they can produce misleading, factually incorrect, or unverifiable information, thereby undermining their trustworthiness and reliability. However, reliable ground-truth labels remain a key challenge in evaluating hallucination detectors. Recent studies often construct labels automatically by comparing model generations with reference answers using similarity metrics such as BLEURT. This implicitly treats BLEURT similarity as a proxy for hallucination, despite its English-centric supervision, unbounded score range, and design as a similarity metric rather than a factuality measure, making threshold-based ground-truth construction potentially unreliable. Through comprehensive experiments using 15 automatic supervision judges, seven hallucination detection baselines, two generator models, two QA datasets, and five languages, we demonstrate that detector performance varies substantially with the choice of supervision judge. Human validation reveals substantial differences in labeling reliability, with QGen-9B achieving the lowest overall misclassification rate (12.86%), while BLEURT and BLEURT-n exhibit rates of 47.23% and 47.32%, respectively. Our findings highlight the limitations of automatic similarity-based labeling and the need for more reliable judging methods that better capture semantic and factual correctness.