Visual Credit Audit for Multimodal Spatial Reasoning

📄 arXiv: 2607.27069v1 📥 PDF

作者: Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng

分类: cs.CV, cs.AI

发布日期: 2026-07-29

备注: "`text 20 pages, 2 figures. Code: https://github.com/SouthWinter/VCA

💡 一句话要点

提出视觉信用审计方法以解决多模态空间推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉信用审计 多模态空间推理 模型评估 依赖信用正确性 图像支持

📋 核心要点

  1. 现有的空间推理基准在图像支持不足的情况下仍可能奖励正确答案，导致评估不准确。
  2. 本文提出的视觉信用审计（VCA）方法能够有效分离图像支持与模型决策之间的关系，提供更精确的评估。
  3. 实验结果显示，12.73%-26.25%的决策是正确但未被认可，且通过图像置换实验显著降低了D-CC值。

📝 摘要（中文）

现有的闭合是/否空间基准在图像支持不足的情况下仍可能奖励正确答案。本文提出的视觉信用审计（VCA）方法能够区分基准图像是否为模型的决策提供了比文本或空白控制更多的支持，以及模型是否响应特定关系的视觉证据。VCA方法不依赖于训练和标签，通过应用标签可以获得依赖信用的正确性（D-CC），在正确项上等于相同控制的黄金对齐正增益。实验表明，在四个开放的多模态语言模型和两个空间基准上，12.73%-26.25%的决策是正确但未被认可的。

🔬 方法详解

问题定义：本文旨在解决现有空间推理基准在图像支持不足时仍给予正确答案奖励的问题，导致评估结果的不准确性。

核心思路：提出视觉信用审计（VCA）方法，通过分离图像支持与模型决策的关系，评估图像对模型决策的实际贡献。

技术框架：VCA方法包括两个主要模块：一是评估基准图像对模型决策的支持程度，二是分析模型对特定关系的视觉证据的响应。

关键创新：VCA的创新在于其训练和标签无关的特性，能够独立审计模型的决策，并揭示未被认可的正确决策。

关键设计：在实验中，使用了依赖信用的正确性（D-CC）作为评估指标，并通过图像置换和关系对比实验来验证模型的响应能力。实验还涉及到95%置信区间的统计分析。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在四个开放的多模态语言模型和两个空间基准上，12.73%-26.25%的决策是正确但未被认可。通过图像置换实验，D-CC值降低了21.25%-47.80个百分点，表明VCA方法在评估模型决策方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提供更精确的模型评估方法，VCA可以帮助提升多模态系统的决策质量，进而推动智能助手、自动驾驶等领域的发展。

📄 摘要（原文）

Closed yes/no spatial benchmarks can reward a correct answer even when the image adds little support beyond no-image contexts. Under a fixed forced-choice interface, Visual Credit Audit (VCA) separates two estimands: whether the benchmark image gives the model's declared decision more support than text-only and blank controls, and whether the model responds to relation-specific visual evidence. The first audit is training- and label-free and does not require an answer flip. Applying labels yields dependence-credited correctness (D-CC); on correct items, it equals same-control gold-aligned positive gain, while prediction alignment extends the audit to errors. Across four open MLLMs and two spatial benchmarks, 12.73-26.25% of decisions are correct yet uncredited. Matched same-split image permutation reduces D-CC by 21.25-47.80 points, with every paired 95% interval above zero. Fixed-pixel relation contrasts and a 3x3 evidence-source factorial show why null controls cannot identify relation response. Among controlled correct-but-uncredited agreement decisions, response to relation reversal spans 81.57-100.00%, while 32.11% pooled change answer. Independently audited outcomes on 108 geometry-compatible edits provide a bounded natural-image correspondence check. VCA thereby decomposes benchmark success into correctness, additional image support, and relation-consistent response.