Hallucination Detection with the Internal Layers of LLMs

📄 arXiv: 2509.14254v1 📥 PDF

作者: Martin Preiß

分类: cs.CL, cs.AI

发布日期: 2025-09-11

备注: Master's thesis

💡 一句话要点

提出一种基于LLM内部表征的幻觉检测方法，通过动态加权层提升检测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 内部表征 动态加权 跨基准泛化

📋 核心要点

  1. LLM容易产生幻觉，即生成看似合理但缺乏事实依据的内容，现有方法难以有效检测。
  2. 论文提出一种新架构，动态加权和组合LLM内部层，以提升幻觉检测的性能。
  3. 实验表明，该方法优于传统探测方法，但泛化性仍具挑战，跨基准训练和参数冻结可缓解。

📝 摘要（中文）

大型语言模型(LLMs)在各种自然语言处理任务中取得了成功。然而，它们也存在显著的局限性，即容易产生幻觉，这是一种看似合理但缺乏事实依据的输出，会带来严重的实际后果。最近的研究表明，利用LLM内部表征的基于探针的分类器可以检测幻觉。这种方法不涉及模型训练，可以在不显著增加计算成本的情况下提高可靠性。本文在此基础上，提出了一种利用LLM内部表征进行幻觉检测的新方法，并在TruthfulQA、HaluEval和ReFact三个基准上进行了评估。具体来说，开发了一种新的架构，可以动态地加权和组合LLM内部层，以提高幻觉检测性能。通过广泛的实验，获得了两个关键发现：首先，与传统的探测方法相比，该方法表现出更优越的性能，但跨基准和LLM的泛化仍然具有挑战性。其次，通过跨基准训练和参数冻结可以缓解这些泛化限制。虽然并非始终改进，但这两种技术在单个基准上都产生了更好的性能，并减少了转移到其他基准时的性能下降。这些发现为通过内部表征分析提高LLM的可靠性开辟了新的途径。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中普遍存在的幻觉问题，即LLMs生成看似合理但实际上不符合事实的内容。现有基于探针的幻觉检测方法虽然有效，但在跨不同基准测试和LLMs时的泛化能力较弱，需要针对特定模型和数据集进行调整，缺乏通用性。

核心思路：论文的核心思路是利用LLMs内部层的表征信息来判断生成内容是否为幻觉。通过动态地加权和组合不同层的表征，可以更有效地捕捉到与幻觉相关的特征，从而提高检测的准确性和鲁棒性。这种动态加权机制允许模型根据输入自适应地选择最相关的层，从而提升泛化能力。

技术框架：整体框架包括以下几个主要步骤：1) 获取LLM内部各层的表征；2) 使用动态加权机制对这些表征进行组合，生成一个综合的表征向量；3) 将该向量输入到一个分类器中，判断生成内容是否为幻觉。动态加权机制是该框架的核心，它根据输入动态地调整各层表征的权重。

关键创新：最重要的技术创新点在于动态加权机制。与传统的静态加权或简单拼接不同，该机制允许模型根据输入自适应地学习各层表征的重要性，从而更有效地捕捉到与幻觉相关的特征。这种动态性使得模型能够更好地适应不同的LLMs和数据集，提高泛化能力。

关键设计：动态加权机制的具体实现方式未知，论文中可能没有详细描述。但可以推测，可能使用了注意力机制或类似的自适应权重学习方法。此外，分类器的选择和训练方式也是关键的设计细节，可能采用了交叉熵损失函数和一些正则化技术来防止过拟合。

📊 实验亮点

实验结果表明，提出的动态加权方法在幻觉检测任务上优于传统的探测方法。虽然跨基准和LLM的泛化仍然具有挑战性，但通过跨基准训练和参数冻结等技术，可以有效缓解泛化问题，并在特定基准上取得更好的性能，同时减少了模型在不同基准间迁移时的性能下降。

🎯 应用场景

该研究成果可应用于各种需要高度可靠性的自然语言生成场景，例如自动问答系统、新闻摘要生成、医疗报告生成等。通过提高LLM生成内容的真实性和可靠性，可以减少错误信息的传播，提升用户体验，并降低潜在的风险。

📄 摘要（原文）

Large Language Models (LLMs) have succeeded in a variety of natural language processing tasks [Zha+25]. However, they have notable limitations. LLMs tend to generate hallucinations, a seemingly plausible yet factually unsupported output [Hua+24], which have serious real-world consequences [Kay23; Rum+24]. Recent work has shown that probing-based classifiers that utilize LLMs' internal representations can detect hallucinations [AM23; Bei+24; Bur+24; DYT24; Ji+24; SMZ24; Su+24]. This approach, since it does not involve model training, can enhance reliability without significantly increasing computational costs. Building upon this approach, this thesis proposed novel methods for hallucination detection using LLM internal representations and evaluated them across three benchmarks: TruthfulQA, HaluEval, and ReFact. Specifically, a new architecture that dynamically weights and combines internal LLM layers was developed to improve hallucination detection performance. Throughout extensive experiments, two key findings were obtained: First, the proposed approach was shown to achieve superior performance compared to traditional probing methods, though generalization across benchmarks and LLMs remains challenging. Second, these generalization limitations were demonstrated to be mitigated through cross-benchmark training and parameter freezing. While not consistently improving, both techniques yielded better performance on individual benchmarks and reduced performance degradation when transferred to other benchmarks. These findings open new avenues for improving LLM reliability through internal representation analysis.