Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

📄 arXiv: 2608.17687v1 📥 PDF

作者: Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

分类: cs.AI, cs.LG

发布日期: 2026-08-18

💡 一句话要点

提出InnerExpert以解决大语言模型幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 幻觉检测 专家混合 逐词检测 自然语言处理 机器学习 模型更新

📋 核心要点

  1. 现有的幻觉检测方法主要在答案或句子层面，缺乏逐词检测的能力，难以实现细粒度的干预。
  2. 本文提出InnerExpert，利用专家混合架构中的内部信号进行逐词幻觉检测，填补了这一技术空白。
  3. 实验结果显示，InnerExpert在多个数据集上表现优异，AUROC指标显著高于现有方法，提升效果明显。

📝 摘要（中文）

尽管大语言模型（LLMs）被广泛使用，但它们仍然面临一个根本性问题：生成看似合理但实际上错误的内容，称为幻觉。现有的检测方法主要在答案或句子层面进行，而逐词检测对于定位幻觉片段和实现细粒度干预至关重要。本文探讨了使用专家混合（MoE）范式来填补这一空白。我们提出了InnerExpert，这是首个利用MoE特定信号进行逐词幻觉检测的方法。InnerExpert将路由级别和标准变换器信号结合成紧凑的逐词特征向量，由轻量级检测器分类，后者在LLM作为评判者的管道中训练生成标签，从而实现无需手动标注的持续模型更新。实验结果表明，InnerExpert在五个数据集和两种MoE架构上超越了现有方法，达到了0.91的答案级和0.76的逐词AUROC，同时仅需一次前向传播。

🔬 方法详解

问题定义：本文旨在解决大语言模型生成幻觉内容的问题，现有方法在逐词检测上存在不足，无法有效定位幻觉片段。

核心思路：通过引入专家混合（MoE）架构，利用其内部信号（如路由熵、专家不一致性等）进行逐词幻觉检测，从而实现更精细的干预。

技术框架：整体架构包括MoE模型的前向传播过程，结合路由信号和标准变换器信号生成逐词特征向量，随后由轻量级检测器进行分类。

关键创新：InnerExpert是首个将MoE特定信号应用于逐词幻觉检测的方法，突破了传统方法的局限，提供了更高的检测精度。

关键设计：模型通过路由机制激活稀疏的专家子集，特征向量的生成结合了多种信号，检测器使用LLM生成的标签进行训练，支持持续更新。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，InnerExpert在五个数据集上表现优异，达到了0.91的答案级和0.76的逐词AUROC，相较于现有方法有显著提升，展示了其在幻觉检测领域的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和内容生成等。通过提高幻觉检测的精度，InnerExpert可以帮助开发更可靠的语言模型，减少错误信息的传播，提升用户体验和信任度。未来，该方法可能在多模态学习和其他AI应用中发挥重要作用。

📄 摘要（原文）

Despite their widespread use, Large Language Models (LLMs) remain limited by a fundamental problem: the generation of plausible but false content, known as hallucinations. Most existing detection methods operate at the answer or sentence level, yet per-token detection is essential for localizing hallucinated spans and enabling fine-grained interventions. In this paper, we explore the use of the Mixture-of-Experts (MoE) paradigm to address this gap. In MoE architectures, a single forward pass activates a sparse subset of experts (i.e., distinct feedforward networks per layer) via a routing mechanism, producing internal signals (e.g., router entropy, expert disagreement, and expert usage patterns) that are unavailable in dense architectures and have not been previously exploited for hallucination detection. To this end, we introduce InnerExpert, the first method to leverage these MoE-specific signals for per-token hallucination detection. InnerExpert combines routing-level and standard transformer signals into compact per-token feature vectors, classified by a lightweight detector trained on labels produced by an LLM-as-a-judge pipeline, which enables continuous model updates without manual annotation. Our results show that InnerExpert outperforms existing methods across five datasets and two MoE architectures, achieving up to 0.91 answer-level and 0.76 token-level AUROC, while requiring only a single forward pass.