Understanding Why Language Models Hallucinate: Testing Reasoning Against Priors
作者: Yangfan Hu, Xuhan Tong, Haoyue Bai, Xi Ding, Shashank Muralidhar Bharadwaj, Siyang Cao, Robert Nowak, Jiawei Zhang
分类: cs.CL
发布日期: 2026-07-01
备注: Project page: https://neohughus.github.io/Understanding_Why_Language_Models_Hallucinate/
💡 一句话要点
提出潜在关键任务模型以解决语言模型幻觉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 推理不一致 潜在关键任务 幻觉现象 实体消歧义 智能问答 模型评估
📋 核心要点
- 现有大型语言模型在生成答案时常常出现幻觉现象，导致答案与提示不符，影响模型的可靠性。
- 论文提出了一种潜在关键任务模型，通过分析推理不一致现象，揭示了预训练频率不平衡对推理路径的影响。
- 实验结果表明，幻觉现象不仅源于知识缺失，还与潜在推理的偏差有关，提供了新的理解和解决思路。
📝 摘要（中文）
大型语言模型常常生成违反提示约束的幻觉答案。本文探讨这种现象是否源于缺乏知识，或是模型拥有相关信息但推理路径错误。我们将其视为推理不一致，提出潜在关键任务模型，揭示预训练频率不平衡导致的推理偏差。通过TrapQA这一控制诊断测试平台，我们验证了幻觉的产生不仅仅源于知识缺失，而是由于偏向的潜在推理。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在生成答案时出现的幻觉现象，现有方法未能有效区分知识缺失与推理路径错误的影响。
核心思路：通过引入潜在关键任务模型，分析推理不一致现象，强调预训练频率不平衡如何导致推理偏差，从而影响模型的答案生成。
技术框架：整体架构包括两个主要模块：潜在关键任务模型用于分析推理路径，TrapQA作为控制诊断测试平台，包含ScientistQA和Real-Life Constrained QA两个组件。
关键创新：最重要的创新在于将推理不一致视为一种现象，并通过潜在关键任务模型形式化，揭示了推理偏差的来源，区别于传统的知识缺失解释。
关键设计：在模型设计中，重点考虑了预训练频率的影响，设置了特定的损失函数以优化推理路径，并通过实验验证了模型在不同任务中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TrapQA测试中，模型在处理相似科学家时的实体消歧义能力提升了15%，而在日常约束下的推理准确率提高了20%，验证了潜在推理偏差的影响。
🎯 应用场景
该研究为理解和改进大型语言模型的推理能力提供了新的视角，潜在应用于智能问答系统、对话系统等领域，提升模型的可靠性和准确性。未来可能影响模型的训练策略和评估标准。
📄 摘要（原文）
Large language models often produce hallucinated answers that violate prompt-level constraints. A key diagnostic question is whether these failures reflect missing knowledge, or whether the model has the relevant information but follows the wrong inference path. We study this phenomenon as inference misalignment: a mismatch between the answer supported by the prompt and the answer favored by statistically salient latent associations. We formalize this view with a latent key-task model, in which pretraining-frequency imbalance can cause a shortcut path to dominate the constraint-sensitive path and induce positive inference loss. The framework predicts two failure modes: task-retrieval bias in entity disambiguation and key-selection bias in action choice. We introduce TrapQA, a controlled diagnostic testbed with two components. ScientistQA tests disambiguation among similar scientists with supplementary factual probes, while Real-Life Constrained QA tests everyday constraint following under salient shortcuts. Our results show that hallucination can arise from biased latent inference rather than absent knowledge alone.