Zero-knowledge LLM hallucination detection and mitigation through fine-grained cross-model consistency

📄 arXiv: 2508.14314v2 📥 PDF

作者: Aman Goel, Daniel Schwartz, Yanjun Qi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-08-19 (更新: 2025-11-01)

💡 一句话要点

提出Finch-Zk以解决大型语言模型的幻觉检测与缓解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 跨模型一致性 内容生成 机器学习

📋 核心要点

  1. 现有大型语言模型在生成内容时容易出现幻觉，导致输出的事实不准确，影响用户信任。
  2. Finch-Zk通过细粒度的跨模型一致性检查和针对性缓解技术，提供了一种无需外部知识源的幻觉检测与修正方案。
  3. 实验结果显示，Finch-Zk在多个数据集上显著提高了幻觉检测和回答准确率，验证了其有效性和实用性。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中展现了卓越的能力，但仍然容易产生幻觉，即生成看似合理但包含事实错误的内容。本文提出了Finch-Zk，一个黑箱框架，通过细粒度的跨模型一致性来检测和缓解LLM输出中的幻觉，而无需外部知识源。Finch-Zk引入了两个关键创新：1）跨模型一致性检查策略，通过比较来自语义等价提示的不同模型生成的响应，揭示细粒度的不准确性；2）针对性缓解技术，对问题段落进行精确修正，同时保留准确内容。实验结果表明，Finch-Zk在FELM数据集上提高了幻觉检测的F1分数，较现有方法提升了6-39%。在GPQA-diamond数据集上，Finch-Zk在应用于Llama 4 Maverick和Claude 4 Sonnet等最先进模型时，回答准确率提高了最多9个百分点。多数据集的广泛评估表明，Finch-Zk为提升生产LLM系统的事实可靠性提供了实用的、可部署的保障。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成内容时的幻觉问题，现有方法往往依赖外部知识源，难以实时应用。

核心思路：Finch-Zk的核心思路是通过细粒度的跨模型一致性检查，比较不同模型在相同语义提示下的输出，以识别和修正幻觉内容。

技术框架：Finch-Zk的整体架构包括两个主要模块：跨模型一致性检查模块和针对性缓解模块。前者负责检测不一致性，后者则对问题段落进行修正。

关键创新：Finch-Zk的创新在于其黑箱框架设计，能够在不依赖外部知识的情况下，通过模型间的比较实现幻觉检测与修正，显著提升了检测的准确性和效率。

关键设计：在技术细节上，Finch-Zk采用了精确的损失函数来优化模型输出的一致性，同时设计了高效的参数设置，以确保在多种模型间的有效比较。通过这些设计，Finch-Zk能够在保持准确内容的同时，针对性地修正错误信息。

📊 实验亮点

Finch-Zk在FELM数据集上提高了幻觉检测的F1分数，较现有方法提升了6-39%。在GPQA-diamond数据集上，Finch-Zk在应用于最先进模型时，回答准确率提高了最多9个百分点，显示出其在实际应用中的显著优势。

🎯 应用场景

Finch-Zk的研究成果具有广泛的应用潜力，尤其在需要高可靠性内容生成的领域，如教育、医疗和法律等。通过提高大型语言模型的事实准确性，该框架能够增强用户对AI生成内容的信任，推动其在实际应用中的普及和发展。

📄 摘要（原文）

Large language models (LLMs) have demonstrated impressive capabilities across diverse tasks, but they remain susceptible to hallucinations--generating content that appears plausible but contains factual inaccuracies. We present Finch-Zk, a black-box framework that leverages fine-grained cross-model consistency to detect and mitigate hallucinations in LLM outputs without requiring external knowledge sources. Finch-Zk introduces two key innovations: 1) a cross-model consistency checking strategy that reveals fine-grained inaccuracies by comparing responses generated by diverse models from semantically-equivalent prompts, and 2) a targeted mitigation technique that applies precise corrections to problematic segments while preserving accurate content. Experiments on the FELM dataset show Finch-Zk improves hallucination detection F1 scores by 6-39\% compared to existing approaches. For mitigation, Finch-Zk achieves up to 9 absolute percentage points improvement in answer accuracy on the GPQA-diamond dataset when applied to state-of-the-art models like Llama 4 Maverick and Claude 4 Sonnet. Extensive evaluation on multiple datasets demonstrates that Finch-Zk provides a practical, deployment-ready safeguard for enhancing factual reliability in production LLM systems.