Decision Models as Judges for Hallucination Detection

📄 arXiv: 2610.37229v1 📥 PDF

作者: Haozheng Liu, Zhaoqian Xue, Zhongyin Wang, Junting Mu, Zihui Ma, Shuya Feng, Lingyao Li

分类: cs.CL

发布日期: 2026-10-27

💡 一句话要点

提出决策模型作为低成本的幻觉检测判别者

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 决策模型 大型语言模型 成本效益 自然语言处理

📋 核心要点

  1. 现有的大型语言模型在幻觉检测中成本高且容易产生错误，限制了其应用。
  2. 本文提出使用决策模型作为判别者，以概率形式返回判决，旨在降低成本并提高效率。
  3. 实验结果显示，决策模型在某些幻觉类型上表现优异，且成本仅为gpt-6-sol的1-3%。

📝 摘要（中文）

大型语言模型（LLM）常被用作模型输出的判别者，但其成本高且容易产生幻觉或过于自信。本文提出决策模型作为替代方案，能够以概率形式返回预定义的判决，且成本更低、速度更快。我们构建了五种幻觉类型的二元基准（来自六个数据集的9,852个项目），并将五种决策模型与生成型判别者gpt-6-sol进行了比较。结果表明，决策模型在上下文不一致性方面的平衡准确率与gpt-6-sol相当，而在事实错误上仅相差3个百分点，但在逻辑和指令不一致性上则落后4-8个百分点。尽管决策模型的概率表现出过于自信，但相较于GPT-6模型有所改善。我们还发现，决策模型的信心级联在三种类型上提升了1.9-3.3个百分点，并在1-3%的成本下与gpt-6-sol相当或超越。总体而言，决策模型在某些幻觉类型上是实用的低成本判别者，但在使用前需进行验证。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在幻觉检测中的高成本和不可靠性问题。现有方法容易产生幻觉或过于自信，影响判别效果。

核心思路：提出使用决策模型作为判别者，返回每个标签的概率而非自由文本，以降低成本并提高处理速度。

技术框架：整体架构包括数据集构建、决策模型训练和评估三个主要阶段。首先，构建包含五种幻觉类型的二元基准数据集；其次，训练多种决策模型；最后，评估其在幻觉检测中的表现。

关键创新：最重要的创新在于将决策模型引入幻觉检测领域，提供了一种低成本且高效的替代方案，与现有的生成型模型相比，具有更好的实用性。

关键设计：在模型设计中，采用了多种决策模型，并通过信心级联技术提升了整体性能。模型的损失函数和参数设置经过精心调整，以优化判别效果。具体细节包括对不同幻觉类型的针对性训练和评估策略。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，最佳决策模型在上下文不一致性方面的平衡准确率与gpt-6-sol相当，而在事实错误上仅相差3个百分点。在逻辑和指令不一致性上，决策模型的表现落后4-8个百分点。信心级联技术提升了1.9-3.3个百分点，且成本仅为gpt-6-sol的1-3%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统以及信息检索等场景。通过提供低成本的幻觉检测判别者，能够提高模型的可靠性和用户体验，促进相关技术的广泛应用与发展。

📄 摘要（原文）

Large language models are widely used as judges of model outputs (LLM-as-a-Judge), but they are costly and can hallucinate or be overconfident. Decision models are a potential alternative. They return a predefined verdict with a probability for each label instead of free-form text and are much cheaper and faster. We test this promise on hallucination detection. We build binary benchmarks for five hallucination types (9,852 items from six datasets) and compare five decision models with the generative judge gpt-6-sol. Performance depends strongly on the type: the best decision model matches gpt-6-sol in balanced accuracy on context inconsistency and comes within 3 percentage points on factual errors, but trails it by 4-8 points on logical and instruction inconsistency. Decision-model probabilities are overconfident, though less so than the GPT-6 models, and separate correct from incorrect decisions only moderately. We also find that a confidence cascade of decision models improves on the best single model by 1.9-3.3 points on three types and matches or exceeds gpt-6-sol at 1-3% of its cost. Overall, decision models are a practical low-cost judge for some hallucination types but need to be validated before use.