Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models
作者: Niclas Lietzow, Danielle Bitterman, Carsten Eickhoff, William Rudman, Michal Golovanevsky
分类: cs.CL
发布日期: 2026-06-26
备注: 14 pages, 11 figures, 8 tables
💡 一句话要点
提出因果机制分析以解决视觉-知识冲突问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言模型 因果机制 多模态系统 知识冲突 注意力机制 模型消融 激活补丁 决策机制
📋 核心要点
- 现有视觉-语言模型在处理视觉证据与记忆知识冲突时缺乏明确的因果机制分析，导致可靠性不足。
- 本文通过激活补丁和组件消融研究，提出了一种新的因果分析方法，揭示了视觉基础和知识基础的不同机制。
- 实验结果显示，消融特定注意力头会显著改变模型的预测结果，表明存在不对称的因果结构，提升了对视觉-知识冲突的理解。
📝 摘要（中文）
视觉-语言模型在视觉证据与记忆世界知识冲突时，必须进行调和。现有研究主要通过行为特征进行描述，缺乏组件级的因果分析。本文结合激活补丁技术与模型组件消融研究，发现视觉基础是默认的，而先前知识的基础依赖于少数因果必要的注意力头。这些注意力头在网络后半部分集中，使得模型能够在视觉输入冲突的情况下仍然输出基于存储知识的答案。消融这些注意力头会导致68-96%的情况下预测从知识基础转变为视觉基础，建立了不对称的因果结构。该研究揭示了视觉-知识冲突的稀疏因果电路。
🔬 方法详解
问题定义：本文旨在解决视觉-语言模型在视觉证据与记忆知识冲突时的因果机制分析问题。现有方法主要通过行为特征进行描述，缺乏深入的组件级因果分析，导致对模型可靠性的理解不足。
核心思路：论文提出结合激活补丁技术与模型组件消融研究的方法，通过分析不同层次的模型组件，揭示视觉基础和知识基础的因果关系。这样的设计能够更清晰地理解模型在冲突情况下的决策机制。
技术框架：整体架构包括三个主要模块：激活补丁（针对残差流、注意力头和MLP子层）、模型组件消融研究和机械分析。通过这些模块，研究者能够系统地分析模型在不同条件下的表现。
关键创新：最重要的技术创新在于识别出少数因果必要的注意力头，这些头在网络后半部分集中，能够在视觉输入冲突时依然提供基于知识的答案。这一发现与现有方法的行为描述形成鲜明对比，揭示了模型内部的因果结构。
关键设计：研究中对注意力头的消融实验显示，消融特定的注意力头会导致68-96%的预测从知识基础转变为视觉基础，而对视觉基础的预测影响较小（仅0.8-7.5%）。这种不对称性表明了模型内部的稀疏因果电路。实验中还分析了路由头和写入头的功能，前者调节信息流，后者直接将答案标记投射到残差流中。
🖼️ 关键图片
📊 实验亮点
实验结果显示，消融特定注意力头后，68-96%的情况下模型的预测从知识基础转变为视觉基础，而对视觉基础预测的影响仅为0.8-7.5%。这一发现揭示了模型内部的不对称因果结构，显著提升了对视觉-知识冲突的理解。
🎯 应用场景
该研究的潜在应用领域包括多模态人工智能系统、智能助手和自动问答系统等。通过深入理解视觉-知识冲突的因果机制，可以提升模型在复杂场景下的决策能力和可靠性，进而推动相关技术的实际应用和发展。
📄 摘要（原文）
Vision-language models must reconcile visual evidence with memorized world knowledge when the two conflict. How they resolve this conflict shapes the reliability of multimodal systems, yet prior work characterizes it behaviorally without a component-level causal account. We combine activation patching across three granularities (residual stream, attention heads, and MLP sublayers) with model-component ablation studies and mechanistic analysis. Across three VLM families, we find that visual grounding emerges by default, whereas prior grounding depends on a small set of causally necessary attention heads (2.5-4.8%) concentrated in the second half of the network. These heads enable answers from stored world knowledge (e.g., "red" for a strawberry) despite conflicting visual input. Ablating them flips predictions from knowledge-grounded to visually grounded answers in 68-96% of cases under prior-knowledge prompts, but changes only 0.8-7.5% of visually grounded predictions, establishing an asymmetric causal structure. The identified heads decompose into routing heads, which modulate information flow, and writing heads, which directly project answer tokens into the residual stream. This structure is consistent across model families and scales, revealing a sparse causal circuit underlying perception-knowledge conflict in VLMs.