CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations

📄 arXiv: 2606.31033v1 📥 PDF

作者: Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka

分类: cs.CL

发布日期: 2026-06-30

💡 一句话要点

提出CORTEX以解决RAG中的token级幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 检索增强生成 大型语言模型 内部表示比较 细粒度定位 自然语言处理 信息检索

📋 核心要点

  1. 现有的RAG方法在长文本生成中容易出现幻觉现象，且这些幻觉往往集中在局部区域，难以有效检测。
  2. CORTEX通过比较大型语言模型在有无检索文档条件下的内部表示，识别无基础的token，从而实现细粒度的幻觉检测。
  3. 在多个基准测试中，CORTEX显著提升了token级幻觉检测的准确性，各个组件均对性能提升有贡献。

📝 摘要（中文）

本文提出了CORTEX，一种用于检索增强生成（RAG）中的token级幻觉检测方法。在长文本RAG输出中，幻觉通常出现在局部范围内而非整个响应。CORTEX通过在token级别识别无基础内容，实现了幻觉的细粒度定位。其核心直觉是，基于检索文档的token应受到这些文档的更强影响。CORTEX比较了大型语言模型在有无检索文档条件下的内部表示，利用文档引导的信息传播来减少误报。此外，CORTEX还应用了后处理平滑步骤，以减少局部噪声并鼓励一致的预测。实验结果表明，CORTEX在两个RAG基准和三个大型语言模型上显著提高了token级幻觉检测的性能。

🔬 方法详解

问题定义：本文旨在解决在检索增强生成（RAG）中，长文本输出中token级幻觉的检测问题。现有方法往往无法有效识别局部幻觉，导致检测精度不足。

核心思路：CORTEX的核心思路是通过比较大型语言模型在有无检索文档条件下的内部表示，识别那些未被文档支持的token。这样设计的原因在于，基于检索文档的token应更受其影响，从而可以有效区分幻觉token。

技术框架：CORTEX的整体架构包括两个主要阶段：首先是内部表示的比较，其次是基于文档引导信息传播的误报减少。具体流程包括：获取模型的内部表示、比较有无文档的影响、以及后处理平滑步骤。

关键创新：CORTEX的主要创新在于其token级的幻觉检测能力，通过比较内部表示来实现细粒度的幻觉定位。这与传统方法的全局检测方式形成了鲜明对比，显著提高了检测的准确性。

关键设计：CORTEX在设计中考虑了token的敏感性和信息传播，采用了特定的损失函数来优化幻觉检测的准确性。此外，后处理步骤通过建模幻觉标签在连续范围内的持久性，进一步减少了局部噪声。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个RAG基准和三个大型语言模型的实验中，CORTEX显著提高了token级幻觉检测的性能，具体提升幅度达到了XX%（具体数据需根据实验结果填写）。每个组件的贡献均得到了验证，表明其设计的有效性和实用性。

🎯 应用场景

CORTEX在自然语言生成、对话系统和信息检索等领域具有广泛的应用潜力。通过提高幻觉检测的准确性，该方法可以增强生成模型的可靠性，减少用户在使用过程中的误导信息，从而提升用户体验和信任度。未来，CORTEX的技术可以进一步扩展到多模态生成和复杂场景理解中。

📄 摘要（原文）

In this paper, we propose CORTEX, a token-level hallucination detection method for Retrieval-Augmented Generation (RAG). In long-form RAG outputs, hallucinations often arise in localized spans rather than throughout an entire response. CORTEX therefore identifies ungrounded content at the token level, enabling fine-grained localization of hallucinations. The key intuition behind CORTEX is that tokens grounded in retrieved documents should be more strongly influenced by those documents than hallucinated tokens. To capture this document-induced effect, CORTEX compares internal representations of a large language model (LLM) under two conditions: with and without the retrieved documents. Instead of relying solely on each token's immediate sensitivity to the retrieved documents, CORTEX also leverages the propagation of document-grounded information through preceding tokens, reducing false positives for tokens whose evidence has already been absorbed into the context. Finally, CORTEX applies post-processing smoothing step that models the tendency of hallucination labels to persist over contiguous spans, reducing local noise and encouraging span-consistent predictions. Experiments on two RAG benchmarks and three LLMs show that CORTEX substantially improves token-level hallucination detection, with each component consistently contributing to performance gains.