Spectral Query-Key Product Weight Steering for Training-Free VLM Hallucination Mitigation

📄 arXiv: 2606.20419v1 📥 PDF

作者: Karn Tiwari, Varnith Chordia, Prathosh A P

分类: cs.CV

发布日期: 2026-06-18

备注: Under Review

💡 一句话要点

提出QK产品引导以解决视觉语言模型的幻觉问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 物体幻觉 查询-键产品 多模态学习 无训练方法 注意力机制 模型优化

📋 核心要点

  1. 现有视觉语言模型在生成描述时，常出现提及图像中不存在物体的幻觉现象，导致描述的准确性下降。
  2. 本文提出了一种名为QK产品引导的方法，通过编辑查询-键产品来抑制主导奇异模式，从而减少幻觉现象。
  3. 在三个基于GQA的视觉语言模型上，QK产品引导实现了平均4.0%的CHAIR$_s$相对减少，且对比随机模式控制几乎没有变化。

📝 摘要（中文）

视觉语言模型（VLMs）常常生成流畅但缺乏视觉支持的描述，尤其是提及图像中不存在的物体。本文提出QK产品引导，这是一种无数据、无训练且零推理成本的权重编辑方法，用于减少物体幻觉。该方法通过抑制选定中间层中的少数主导奇异模式，直接编辑每个头的查询-键产品。编辑后的产品通过封闭形式的仅查询更新映射回查询权重，同时保持共享键权重不变，使得该编辑与分组查询注意力兼容。实验表明，QK产品引导在三个基于GQA的VLMs上实现了平均相对CHAIR$_s$减少4.0%，而随机模式控制显示变化微乎其微。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型生成描述时的物体幻觉问题。现有方法通常依赖于额外的数据或训练，导致推理时的计算开销和复杂性增加。

核心思路：QK产品引导通过直接编辑查询-键产品，抑制主导奇异模式，从而减少幻觉现象。这种设计避免了额外的数据需求和训练过程，简化了模型的使用。

技术框架：该方法的整体架构包括编辑每个头的查询-键产品，保持共享键权重不变，并通过封闭形式的更新将编辑后的产品映射回查询权重。

关键创新：QK产品引导的主要创新在于其无训练、无数据的特性，且通过对称和反对称成分的分解，能够有效区分内容相似性模式与方向性注意力模式。

关键设计：在实现过程中，选择了特定的中间层进行主导奇异模式的抑制，确保了编辑的有效性。同时，采用了封闭形式的查询更新方法，确保了与分组查询注意力的兼容性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，QK产品引导在三个基于GQA的视觉语言模型上实现了平均4.0%的CHAIR$_s$相对减少，且与随机模式控制相比，几乎没有变化，表明该方法的有效性和稳定性。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、智能助手和多模态内容生成等。通过减少幻觉现象，提升了视觉语言模型在实际应用中的可靠性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language models (VLMs) often generate fluent but visually unsupported descriptions, especially by mentioning objects absent from the image. We propose QK Product Steering, a data-free, training-free, and zero-inference-cost weight edit for reducing object hallucination. The method directly edits the per-head query-key product, the operator that produces pre-softmax attention logits, by suppressing a small number of dominant singular modes in selected middle layers. The edited product is then mapped back to the query weights through a closed-form query-only update while keeping shared key weights fixed, making the edit compatible with grouped-query attention. We further decompose the QK product into symmetric and antisymmetric components to distinguish mutual content-similarity patterns from directional attention patterns. Across three GQA-based VLMs, QK Product Steering achieves an average relative CHAIR$_s$ reduction of $4.0\%$, while matched random-mode controls show negligible change. Interpretability ablations show that the hallucination signal is specific to dominant QK modes and is primarily localized to the symmetric mutual-attention channel. Overall, QK Product Steering offers a simple alternative to decoding-time mitigation, requiring no additional data, fine-tuning, or inference-time overhead while largely preserving general multimodal capability.