See2Think: Do Multimodal Models Really Use Intermediate Visual States?
作者: Siyu Yan, Zhuoran Yan, Haiying Xu, Panhao Zhou, Jingyu Chen, Chenhao Ji, Shuo Cao, Yongheng Zhang, Haoze Liu, Siyu Zhang, Xiwen Gu, Yihao Liu, Alex Jinpeng Wang
分类: cs.CV, cs.AI
发布日期: 2026-07-29
备注: 10 pages, 5 figures, and 8 tables
💡 一句话要点
提出See2Think框架以评估多模态模型对视觉状态的依赖性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 视觉推理 评估框架 See2Think 视觉状态 推理过程 模型依赖性
📋 核心要点
- 现有多模态模型在视觉状态的使用上缺乏深入评估，现有基准任务覆盖面窄且评估方法不够全面。
- 本文提出See2Think框架，结合See2ThinkBench和VAoT，系统评估多模态模型在视觉推理中的表现。
- 实验结果显示，视觉推理依赖于模型和环境，且在特定干扰下，模型的准确率显著下降，揭示了视觉状态的重要性。
📝 摘要（中文）
多模态大语言模型在推理过程中越来越多地使用草图、注释、工具和中间图像，但尚不清楚它们是否真正依赖这些视觉状态。现有基准在任务覆盖范围和评估方法上存在局限。为此，本文提出See2Think，一个统一的评估框架，包括See2ThinkBench和视觉思维行为（VAoT）。See2ThinkBench包含1200个开放式、视觉依赖的问题，涵盖12个任务类别。VAoT记录文本思维、视觉操作、渲染状态及后续推理。通过对多模态模型的评估，发现视觉推理强烈依赖于模型和环境，且在任务相关的反馈干扰下，模型的准确率下降超过10个百分点。
🔬 方法详解
问题定义：本文旨在解决多模态模型在推理过程中对视觉状态的真实依赖性评估问题。现有方法在任务覆盖和评估方式上存在不足，无法全面诊断模型的视觉推理能力。
核心思路：提出See2Think框架，通过构建全面的评估基准和记录推理过程中的视觉操作，深入分析模型对视觉状态的依赖性。这样的设计有助于揭示模型在不同环境下的表现差异。
技术框架：See2Think框架包括两个主要模块：See2ThinkBench和VAoT。前者提供1200个视觉依赖问题，后者记录文本思维和视觉操作，形成完整的推理链。
关键创新：最重要的创新在于引入了VAoT模块，能够详细记录模型的推理过程，揭示视觉状态在推理中的作用，与现有方法相比，提供了更为细致的分析视角。
关键设计：在实验中，模型的视觉操作选择和渲染质量被重点关注，发现渲染质量是影响推理准确性的主要瓶颈，同时，反馈的有效性并不总能转化为准确率的提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，视觉推理的表现强烈依赖于模型和环境，且在任务相关的干扰下，模型的准确率下降超过10个百分点。这一发现强调了视觉状态在多模态推理中的重要性，为未来的模型改进提供了方向。
🎯 应用场景
该研究的潜在应用领域包括教育、机器人视觉、自动驾驶等场景，能够帮助提升多模态模型在复杂推理任务中的表现。通过更好地理解模型对视觉状态的依赖，未来可以优化模型设计，提高其在实际应用中的可靠性和准确性。
📄 摘要（原文）
Multimodal large language models increasingly use sketches, annotations, tools, and intermediate images during reasoning, but it remains unclear whether they truly rely on these visual states. Existing benchmarks are limited both by task collections with narrow coverage or partially text-solvable samples and by evaluations that emphasize final answers without diagnosing how intermediate visual states are generated, rendered, and used. We introduce See2Think, a unified evaluation framework comprising See2ThinkBench and Visual Action-of-Thought (VAoT). See2ThinkBench contains 1,200 open-ended, visually dependent problems across 12 task categories spanning 2D structured, 3D scene, and real-world reasoning. VAoT records textual thoughts, visual actions, rendered states, and subsequent reasoning under four controlled inference settings. Evaluating representative proprietary and open-source multimodal models, we find that visual reasoning is strongly model- and environment-dependent, with no single setting consistently dominating across tasks. Process analysis further shows that models usually select relevant visual operations, while faithful rendering remains the clearest bottleneck and high feedback uptake does not necessarily translate into accuracy gains. Under task-relevant corrupted feedback, models exhibit behavioral dependence on visual states, with accuracy dropping by over 10 percentage points in controlled interventions.