Grad Detect: Gradient-Based Hallucination Detection in LLMs

📄 arXiv: 2606.24790v1 📥 PDF

作者: Anand Kamat, Daniel Blake, Brent M. Werness

分类: cs.LG, cs.AI

发布日期: 2026-06-23

备注: Accepted to the 2nd Workshop on Compositional Learning at ICML 2026, Seoul, South Korea. Copyright 2026 by the author(s)

期刊: 2nd Workshop on Compositional Learning: Safety, Interpretability, and Agents, ICML 2026

💡 一句话要点

提出Grad Detect以解决LLMs的幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 大型语言模型 梯度分析 模型可靠性 深度学习

📋 核心要点

  1. 现有的幻觉检测方法主要依赖于输出级信号，无法有效捕捉模型内部的判别信息，导致检测准确性不足。
  2. Grad Detect通过分析模型的层级梯度模式，利用单次前向-反向传播过程来预测幻觉，提供了一种新的检测思路。
  3. 在多个问答基准上，Grad Detect在幻觉检测和模型放弃预测方面的表现优于传统的置信度和采样基线，显示出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中表现出色，但仍然容易生成幻觉。检测这些幻觉对于在高风险应用中可靠地部署LLMs至关重要。我们提出Grad Detect，一种基于梯度的方法，通过分析推理过程中的逐层梯度模式来预测幻觉。我们的研究表明，模型的内部梯度结构包含了关于输出正确性的丰富信息，这些信息仅通过输出级信号无法获取。我们在多个问答基准上评估Grad Detect，结果显示其在幻觉检测和模型放弃预测方面始终优于基于置信度和采样的基线。通过对四种架构家族中的十一种模型进行全面的层消融研究，我们发现最后五层集中超过97%的判别梯度信号，从而实现高效部署且性能损失最小。Grad Detect提供了一个统一的框架，用于预测LLM可靠性的多个维度，提供强大的预测性能以及对模型失败来源的可解释性见解。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型（LLMs）在生成过程中产生幻觉的问题。现有方法主要依赖于输出级信号，无法有效捕捉模型内部的判别信息，导致幻觉检测的准确性不足。

核心思路：论文提出Grad Detect，通过分析模型的层级梯度模式，利用单次前向-反向传播过程来预测幻觉。该方法利用内部梯度结构中蕴含的丰富信息，提供比传统方法更为准确的检测能力。

技术框架：Grad Detect的整体架构包括前向传播和反向传播两个阶段。在前向传播中，模型生成输出；在反向传播中，计算各层的梯度信息。通过分析这些梯度信息，Grad Detect能够有效预测幻觉的发生。

关键创新：Grad Detect的主要创新在于其基于梯度的检测机制，能够从模型内部获取判别信号，而不仅仅依赖于输出结果。这一方法与现有的基于置信度和采样的检测方法本质上不同，提供了更深层次的可解释性。

关键设计：在实验中，我们发现最后五层的梯度信号集中超过97%的判别信息，这使得Grad Detect能够在保持高效性的同时，最大限度地减少性能损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个问答基准测试中，Grad Detect在幻觉检测和模型放弃预测方面的表现显著优于传统的置信度和采样基线，具体提升幅度达到XX%（具体数据未知），显示出其强大的预测能力和实用性。

🎯 应用场景

Grad Detect的研究成果在高风险应用场景中具有重要的潜在价值，例如医疗、法律和金融等领域。在这些领域中，确保模型输出的可靠性至关重要，Grad Detect能够有效提高大型语言模型的可靠性，减少因幻觉导致的错误决策，从而提升用户信任和系统安全性。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse tasks, yet they remain prone to generating hallucinations. Detecting these hallucinations is critical for deploying LLMs reliably in high-stakes applications. We present Grad Detect, a gradient-based approach for predicting hallucinations by analyzing layer-wise gradient patterns from a single forward-backward pass during inference. Our method shows that the internal gradient structure of a model carries rich information about the correctness of its output. This information is not accessible through output-level signals alone. We evaluate Grad Detect on several Q&A benchmarks across both hallucination detection and model abstention prediction, where it consistently outperforms confidence-based and sampling-based baselines. Through comprehensive layer ablation studies across all eleven models from four architectural families, we find that the final five layers concentrate over 97% of the discriminative gradient signal, enabling efficient deployment with minimal performance loss. Grad Detect provides a unified framework for predicting multiple dimensions of LLM reliability, offering strong predictive performance alongside interpretable insights into where and how model failures originate.