Mirage Probes: How Vision Models Fake Visual Understanding

📄 arXiv: 2606.13870v1 📥 PDF

作者: Daniel Ben-Levi, Judah Goldfeder, Weiliang Zhao, Raz Lapid, Amit LeVi, Allen G. Roush, Ravid Shwartz-Ziv, Hod Lipson

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-06-11

💡 一句话要点

提出Mirage Probes以解决视觉语言模型的虚假理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 虚假理解 对比探测 文本偏见 多模态学习 内部激活分析 Prior Harnessing Index 模型评估

📋 核心要点

  1. 现有视觉语言模型在没有图像的情况下仍能自信回答问题，导致基准测试分数虚高，未能真实反映模型的视觉理解能力。
  2. 论文提出Mirage Probes框架，通过对比探测方法识别虚假行为的两种模式，揭示模型在回答时的文本偏见和虚假图像构建。
  3. 实验结果表明，文本分布清理可以缓解文本偏见问题，但无法解决虚假图像问题，强调了在表示层面进行干预的必要性。

📝 摘要（中文）

视觉语言模型（VLMs）能够自信且通常正确地回答基于图像的问题，即使没有提供图像。这种虚假行为在基准测试中夸大了分数，而未能反映视觉基础。本文提出Mirage Probes，一个对比探测框架，通过将同一图像的改写问题变体与虚假和非虚假标签配对，揭示了虚假行为的两种不同模式。我们展示了在两个开源VLM中，虚假行为可以通过内部激活线性解码。通过交叉基准的可分离性模式和新的Prior Harnessing Index（PHI），我们揭示了文本偏见和虚假图像两种不同的机制，并指出了相应的缓解策略。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在回答问题时的虚假理解现象，现有方法未能区分文本偏见和虚假图像的影响，导致评估结果失真。

核心思路：通过引入Mirage Probes框架，论文将改写的问题变体与虚假和非虚假标签配对，揭示模型在回答时的两种不同机制，分别是文本偏见和虚假图像构建。

技术框架：整体流程包括对比探测、内部激活分析和Prior Harnessing Index（PHI）计算。首先，通过对比不同问题变体，识别模型的回答来源；其次，分析模型内部激活以解码虚假行为。

关键创新：最重要的创新在于区分了模型回答的两种机制，并提出了PHI指标来量化模型从文本中回答的能力，这一方法与传统的单一失败模式分析有本质区别。

关键设计：在实验中，采用了对比探测方法，设计了特定的损失函数以优化模型的回答准确性，并通过分析残差流、MLP、后注意力和注意力头等多个模块的激活，深入理解模型的内部工作机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用Mirage Probes框架能够有效区分文本偏见和虚假图像的影响。与传统的Naive Bayes文本基线相比，模型在识别虚假行为方面表现出显著提升，具体性能数据未提供，但结果表明文本分布清理对文本偏见有效，而对虚假图像无效。

🎯 应用场景

该研究的潜在应用领域包括图像问答系统、自动内容生成和多模态学习等。通过提高视觉语言模型的真实理解能力，可以在教育、医疗和智能助手等多个领域实现更高效的交互和决策支持，未来可能推动更智能的人工智能系统的发展。

📄 摘要（原文）

Vision-language models (VLMs) can answer image-based questions confidently, and often correctly, even when no image is provided. This mirage behavior inflates benchmark scores without reflecting visual grounding. Prior work treats this as a single failure mode. We argue it is two. Using Mirage Probes, a contrastive probing framework that pairs paraphrased question variants with matched mirage and non-mirage labels on the same image, we show that mirage behavior is linearly decodable from internal activations across residual stream, MLP, post-attention, and attention-head sites in two open-source VLMs. We demonstrate that a Naive Bayes text baseline cannot recover this signal, ruling out surface lexical confounds. Cross-benchmark separability patterns, together with a novel Prior Harnessing Index (PHI) measuring how much a model can answer from text alone, expose two distinct regimes: textual biases, where the model answers from language priors without engaging visual representations, and spurious images, where it constructs false visual content in latent space and answers as if grounded. The distinction has direct mitigation consequences: text-distribution cleaning can address the first regime but cannot reach the second, since spurious-image mirages live in the model's visual representations rather than its text. Faithful visual grounding will require interventions at the representational level.