The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images
作者: Zhiheng Wang, Bo Peng, Lai Wei, Chaochao Lu
分类: cs.AI
发布日期: 2026-08-06
🔗 代码/项目: GITHUB
💡 一句话要点
提出因果审计方法以解决视觉工具使用的有效性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 因果推理 视觉工具使用 政策审计 视觉证据增益 推理有效性 模型优化
📋 核心要点
- 现有的多模态大语言模型在使用视觉工具时，常常面临边际收益和高代价的问题，且在某些情况下表现不佳。
- 论文通过构建因果图，将视觉工具使用形式化，并在政策、轨迹和步骤三个层面进行审计，以探讨视觉证据的因果效应。
- 实验结果显示，视觉工具使用的有效性存在幻觉现象，尽管整体准确性有所提升，但在广泛的推理中并未表现出因果有效性。
📝 摘要（中文）
“思维与图像”范式为多模态大语言模型提供了主动视觉操作，如裁剪和缩放。然而，使用这些操作的模型通常在直接推理上仅获得边际或负收益，同时代价显著增加。本文探讨返回的视觉证据是否对答案产生因果影响，并将视觉工具使用形式化为因果图，审计其在政策、轨迹和步骤三个层面的表现。研究发现，尽管整体准确性有所提升，视觉工具使用在广泛的推理中并未表现出因果有效性，揭示了视觉工具使用的幻觉现象。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在使用视觉工具时的因果有效性问题，现有方法在推理过程中常常导致边际收益和高代价，且在某些情况下表现不佳。
核心思路：通过构建因果图，论文将视觉工具使用形式化为观察介导路径与行动诱导捷径的分离，并通过干预审计其因果效应。
技术框架：整体架构包括三个层面的审计：政策层面比较工具使用与直接推理，轨迹层面在回滚过程中破坏所有观察，步骤层面在固定前缀下反事实替换单个观察。
关键创新：最重要的创新在于提出了视觉证据增益的概念，能够独立评估每个返回观察的贡献，揭示了视觉工具使用的幻觉现象。
关键设计：在实验中，设计了多种干预策略，评估了不同模型在五个细粒度感知基准上的表现，发现政策误校准和两种失败模式。具体参数设置和损失函数未在摘要中详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在六个代表性模型和五个细粒度感知基准上，视觉工具使用的有效性存在显著差异。具体而言，在“无视调用”模式下，返回的观察对答案没有因果影响，而在“无计划观察”模式下，观察信息虽有用但调用顺序不一致，导致整体准确性提升集中在少数经过校准的模型上。
🎯 应用场景
该研究的潜在应用领域包括多模态人工智能系统的优化和视觉推理任务的改进。通过深入理解视觉工具的因果效应，研究可以帮助开发更高效的模型，提升其在实际应用中的表现，尤其是在需要视觉理解的复杂任务中。
📄 摘要（原文）
The "thinking-with-images" paradigm equips multimodal LLMs with active visual operations such as crop-and-zoom. However, models using these operations often achieve only marginal or negative gains over direct inference at substantially higher token cost. They may also repeatedly crop irrelevant regions and fail on questions that direct inference answers correctly. We ask whether the returned visual evidence causally affects the answer. To answer this question, we formulate visual tool-use as a causal graph that separates observation-mediated paths from action-induced shortcuts. We then audit it through interventions at the three levels: policy (comparing tool-use with direct inference), trajectory (corrupting all observations during rollout), and step (counterfactually replacing one individual observation under a fixed prefix). Our step-level estimand, Visual Evidence Gain, isolates the contribution of each returned observation. Across six representative models and five fine-grained perception benchmarks, we uncover policy miscalibration with two failure modes. In Calling Without Looking, returned observations have no causal effect on the answer. In Looking Without Planning, observations are informative but the call schedule is incoherent. A trajectory-level diagnostic decomposes the policy-level accuracy gain and shows that the gain is concentrated in a Calibrated minority. We term this discrepancy the illusion of visual tool-use: despite aggregate accuracy gains, visual tool-use is not causally effective across a broad range of rollouts. The code is available at https://github.com/OpenCausaLab/CauAudit.