Thinking with Visual Grounding
作者: Junkai Zhang, Yihe Deng, Kai-Wei Chang, Wei Wang
分类: cs.AI
发布日期: 2026-06-15
💡 一句话要点
提出视觉基础思维以解决视觉语言模型的推理可验证性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉基础思维 视觉语言模型 推理可验证性 强化学习 多模态学习
📋 核心要点
- 现有的视觉语言模型在推理过程中常常缺乏对支持图像区域的明确引用，导致推理结果难以验证。
- 论文提出了一种视觉基础思维的方法，通过将自然语言思维与显式的视觉证据结合，增强推理的可验证性。
- 在多个基准测试中，加入视觉基础思维的模型在性能上持续优于原始模型和非基础思维的基线，尤其在空间推理任务中表现突出。
📝 摘要（中文）
视觉思维不仅要合理，还需展示其证据。尽管近期的视觉语言模型（VLMs）能够生成自然语言推理轨迹，但这些轨迹常常隐含支持的图像区域，导致验证困难。本文提出视觉基础思维，模型在推理过程中将自然语言思维与显式的视觉证据结合，使得中间推理过程更易于理解和监督。为训练这一行为，构建了可扩展的合成管道，提取所需的视觉对象，并通过基于SAM3的代理进行定位。实验结果表明，视觉基础思维显著提升了模型在计数和空间推理基准上的表现。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言模型在推理过程中对支持图像区域的隐含性问题，导致推理结果难以验证和监督。
核心思路：提出视觉基础思维，通过将自然语言思维与显式的图像证据结合，使得模型在推理过程中能够明确引用相关的视觉对象，从而提高推理的透明度和可验证性。
技术框架：整体架构包括一个可扩展的合成管道，首先提取正确的视觉推理轨迹，然后提取所需的视觉对象，接着通过SAM3代理进行定位，最后从生成的掩码中导出对齐的点和框监督。
关键创新：最重要的创新在于引入了视觉基础思维的概念，使得模型的中间推理与图像区域紧密结合，显著提升了推理的可验证性和准确性。
关键设计：在训练过程中，采用了基于强化学习的监督机制，结合了答案正确性奖励和密集的基础奖励，以确保生成的对象引用与正确的图像证据相匹配。
🖼️ 关键图片
📊 实验亮点
实验结果显示，加入视觉基础思维的Gemma3-4B-IT模型在两个计数基准和四个空间推理基准上均表现优于原始模型和非基础思维基线。在空间推理任务中，视觉基础思维的4B模型在某些情况下甚至超过了同家族的Gemma3-27B-IT模型。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、图像理解和人机交互等。通过提升视觉语言模型的推理能力，能够在更复杂的场景中实现更准确的理解与响应，具有重要的实际价值和未来影响。
📄 摘要（原文）
Visual thinking should not only sound right; it should show its evidence. While recent vision-language models (VLMs) can produce natural-language reasoning traces, these traces often leave the supporting image regions implicit, making them hard to verify and difficult to supervise. We introduce visually grounded thinking, a reasoning process in which models interleave natural-language thoughts with explicit point or box groundings of the visual evidence used at each step. This lets the model express intermediate reasoning in language while grounding key objects in the image regions they refer to. To train this behavior, we construct a scalable synthesis pipeline that distills correct visual reasoning traces, extracts the visual objects required by the traces, grounds them with a SAM3-based agent, and derives aligned point and box supervision from the resulting masks. We further propose grounding-aware reinforcement learning, which combines answer correctness rewards with dense grounding rewards that score whether generated object references match the correct image evidence. Across two counting benchmarks and four spatial reasoning benchmarks, adding visually grounded thinking to Gemma3-4B-IT consistently improves performance over the original model and the non-grounded thinking baseline. On spatial reasoning, the visually grounded thinking 4B models match, and in some cases surpass, Gemma3-27B-IT from the same model family. Our analysis shows that point grounding is well suited to counting, while box grounding benefits most from explicit grounding rewards on spatial tasks. Overall, our results show that VLMs think better when their intermediate thoughts are tied to the image regions that make them true.