HAVE: Head-Adaptive Gating and ValuE Calibration for Hallucination Mitigation in Large Language Models

📄 arXiv: 2509.06596v1 📥 PDF

作者: Xin Tong, Zhi Lin, Jingya Wang, Bo Jin

分类: cs.CL, cs.AI

发布日期: 2025-09-08

💡 一句话要点

HAVE：通过头自适应门控与值校准缓解大语言模型幻觉

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 幻觉缓解 注意力机制 头自适应门控 值校准 检索增强生成 可信赖生成

📋 核心要点

  1. 现有大语言模型在检索增强生成中易产生幻觉，主要原因是注意力头重要性被忽略且原始注意力权重不准确。
  2. HAVE通过头自适应门控动态调整注意力头权重，并利用值向量校准注意力，从而构建更准确的token级证据。
  3. 实验表明，HAVE在多个QA基准测试中显著减少了幻觉，性能优于现有基线方法，且无需微调，易于集成。

📝 摘要（中文）

大型语言模型（LLM）在检索增强或长上下文生成中经常产生幻觉，即使存在相关证据也是如此。这源于两个问题：头的重要性被视为与输入无关，并且原始注意力权重不能很好地反映每个token的真实贡献。我们提出了HAVE（头自适应门控和值校准），这是一个无需微调的解码框架，直接解决了这两个挑战。HAVE引入了头自适应门控，它执行注意力头的实例级软重加权，以及值校准，它利用值向量的大小来增强注意力，以近似写回贡献。这些模块共同构建了与模型更新对齐的token级证据，并通过轻量级的不确定性缩放策略将其与LM分布融合。HAVE无需微调，并且在单个前向传递中运行，使其高效且适用范围广泛。跨多个QA基准和LLM系列的实验表明，HAVE始终如一地减少幻觉，并且优于包括DAGCD在内的强大基线，且开销适中。该框架是透明的、可复现的，并且可以轻松地与现成的LLM集成，从而在实际环境中推进可信赖的生成。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在检索增强生成或长文本生成中出现的幻觉问题。现有方法通常将注意力头的重要性视为与输入无关的，并且原始的注意力权重并不能准确反映每个token对最终结果的贡献，导致模型在有相关证据的情况下仍然产生不准确或虚假的信息。

核心思路：论文的核心思路是通过动态调整注意力头的重要性，并校准注意力权重，从而使模型能够更准确地利用上下文信息，减少幻觉。具体来说，HAVE框架通过头自适应门控机制来动态调整每个注意力头的重要性，并利用值校准机制来更准确地评估每个token的贡献。

技术框架：HAVE框架主要包含两个模块：头自适应门控（Head-Adaptive Gating）和值校准（Value Calibration）。头自适应门控模块根据输入实例动态地调整每个注意力头的重要性，从而使模型能够更关注与当前输入相关的注意力头。值校准模块通过考虑值向量的大小来校准注意力权重，从而更准确地评估每个token对最终结果的贡献。这两个模块共同构建了token级别的证据，并将其与语言模型的分布融合，从而生成更准确的结果。整个框架无需微调，可以在单个前向传递中完成。

关键创新：HAVE的关键创新在于提出了头自适应门控和值校准这两个模块，这两个模块能够有效地解决现有方法中注意力头重要性被忽略和注意力权重不准确的问题。头自适应门控能够动态地调整每个注意力头的重要性，使模型能够更关注与当前输入相关的注意力头。值校准能够更准确地评估每个token对最终结果的贡献。

关键设计：头自适应门控通过一个轻量级的神经网络来学习每个注意力头的权重，该网络的输入是当前输入实例的表示。值校准通过将注意力权重与值向量的大小相乘来校准注意力权重。HAVE框架使用一个不确定性缩放策略将token级别的证据与语言模型的分布融合，该策略根据模型的不确定性来调整证据的权重。

📊 实验亮点

实验结果表明，HAVE在多个QA基准测试中显著减少了幻觉，并且优于包括DAGCD在内的强大基线。例如，在某些基准测试中，HAVE能够将幻觉率降低10%以上。此外，HAVE的计算开销适中，可以在实际应用中高效运行。

🎯 应用场景

HAVE框架可广泛应用于需要减少幻觉的各种场景，例如问答系统、文本摘要、对话生成等。通过提高生成内容的准确性和可靠性，HAVE可以增强用户对大语言模型的信任，并促进其在实际应用中的部署。该框架的易集成性和无需微调的特性使其能够快速应用于各种现有的LLM。

📄 摘要（原文）

Large Language Models (LLMs) often produce hallucinations in retrieval-augmented or long-context generation, even when relevant evidence is present. This stems from two issues: head importance is treated as input-agnostic, and raw attention weights poorly reflect each token's true contribution. We present HAVE (Head-Adaptive Gating and ValuE Calibration), a parameter-free decoding framework that directly addresses both challenges. HAVE introduces head-adaptive gating, which performs instance-level soft reweighing of attention heads, and value calibration, which augments attention with the magnitude of value vectors to approximate write-back contribution. Together, these modules construct token-level evidence aligned with model updates and fuse it with the LM distribution through a lightweight uncertainty-scaled policy. HAVE requires no finetuning and operates in a single forward pass, making it efficient and broadly applicable. Experiments across multiple QA benchmarks and LLM families demonstrate that HAVE consistently reduces hallucinations and outperforms strong baselines, including DAGCD, with modest overhead. The framework is transparent, reproducible, and readily integrates with off-the-shelf LLMs, advancing trustworthy generation in real-world settings.