Gen-VCoT: Generative Visual Chain-of-Thought Reasoning via Diffusion-Based RGB Intermediate Representations

📄 arXiv: 2606.16783v1 📥 PDF

作者: Zhiqiang Zhou, Junliang Dai, Xu ling

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-06-15

备注: 12 pages, 5 figures

💡 一句话要点

提出Gen-VCoT以解决多模态推理中的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 可解释性 视觉中间表示 深度学习 生成模型 RGB图像 推理框架

📋 核心要点

  1. 现有多模态推理方法依赖文本链式思维，缺乏可解释的视觉中间表示，导致推理过程不透明。
  2. Gen-VCoT框架通过生成RGB图像作为推理中间体，分为视觉定位、几何推理和语义推理三个阶段，提升了推理的可解释性。
  3. 实验结果显示，Gen-VCoT在空间和深度问题上分别提高了25%和50%的准确率，但在简单事实查询上表现不佳，显示出任务依赖性。

📝 摘要（中文）

多模态大型语言模型在视觉推理方面表现优异，但依赖文本链式思维（CoT），缺乏可解释的视觉中间表示。现有方法使用不透明的标记或外部工具，缺失关键属性。我们提出了Gen-VCoT框架，利用专家视觉模型生成RGB图像作为推理中间体。该框架包括三个阶段：视觉定位（SAM分割）、几何推理（Marigold深度图）和语义推理（Qwen2-VL集成）。自适应路由器选择推理深度。评估结果表明，Gen-VCoT在空间（提高25%）和深度（提高50%）问题上表现更佳，但可能对简单事实查询造成影响。文本CoT在CLEVR数据集上的表现优于视觉中间体（91.2%对62.5%），显示任务依赖的最佳表示。Gen-VCoT为可解释的多模态推理建立了新范式。

🔬 方法详解

问题定义：本论文旨在解决现有多模态推理方法中缺乏可解释视觉中间表示的问题。现有方法通常依赖文本链式思维，导致推理过程不透明且难以理解。

核心思路：Gen-VCoT框架的核心思想是利用专家视觉模型生成RGB图像作为推理的中间体，以增强推理过程的可解释性。通过将视觉信息与推理过程结合，提升了模型的理解能力和推理效果。

技术框架：Gen-VCoT框架分为三个主要阶段：首先进行视觉定位，使用SAM进行图像分割；其次进行几何推理，生成Marigold深度图；最后进行语义推理，通过Qwen2-VL进行集成。自适应路由器在此过程中选择合适的推理深度。

关键创新：Gen-VCoT的最大创新在于将RGB图像作为推理中间体，这一设计与传统方法使用不透明标记或外部工具的方式截然不同，显著提升了推理的可解释性。

关键设计：在模型设计中，采用了自适应路由器来选择推理深度，确保在不同任务中能够灵活调整推理策略。此外，结合了多种视觉模型以生成高质量的中间表示，增强了整体推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Gen-VCoT在空间问题上提高了25%的准确率，在深度问题上提高了50%。尽管在简单事实查询中表现不如文本链式思维（91.2%对62.5%），但整体上展示了在复杂推理任务中的显著优势，证明了其有效性和创新性。

🎯 应用场景

Gen-VCoT框架在多模态推理领域具有广泛的应用潜力，尤其是在需要可解释性的视觉推理任务中，如自动驾驶、医疗影像分析和智能监控等。通过提供清晰的推理过程，该方法能够帮助用户更好地理解模型决策，提升信任度和实用性。未来，该框架可能推动更多领域的可解释AI研究。

📄 摘要（原文）

Multimodal large language models (MLLMs) excel at visual reasoning but rely on text-based chain-of-thought (CoT), lacking interpretable visual intermediates. Existing methods use opaque tokens or external tools, missing key properties. We propose Gen-VCoT, a framework using expert vision models to generate RGB images as reasoning intermediates. It has three stages: visual grounding (SAM segmentation), geometric reasoning (Marigold depth maps), and semantic reasoning (Qwen2-VL integration). An adaptive router selects reasoning depth. Evaluations show Gen-VCoT improves spatial (25% better) and depth (50% better) questions, but may hurt simple factual queries. Text CoT outperforms visual intermediates on CLEVR (91.2% vs 62.5%), showing task-dependent optimal representations. Gen-VCoT establishes a new paradigm for interpretable multimodal reasoning.