See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL

📄 arXiv: 2606.17678v1 📥 PDF

作者: Yilian Liu, Sicong Leng, Guoshun Nan, Junyi Zhu, Jiayu Huang, Minghao Sun, Xuancheng Zhu, Yisong Chen, Zexian Wei, Xiaofeng Tao

分类: cs.CV, cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出视觉证据预对齐方法以解决多模态模型的视觉推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉推理 视觉证据预对齐 群体相对策略优化 细粒度视觉信息

📋 核心要点

  1. 现有多模态大语言模型在视觉推理中存在响应与图像不一致的问题，表明视觉证据利用不充分。
  2. 本文提出视觉证据预对齐（VEPA）方法，通过群体相对策略优化（GRPO）优化视觉证据描述，增强模型的视觉基础。
  3. 实验结果显示，VEPA在多个基准测试中显著提升了模型在视觉推理任务中的表现，验证了其有效性。

📝 摘要（中文）

多模态大语言模型（MLLMs）将强大的文本推理与视觉输入结合，但其响应可能与底层图像不一致，表明在推理过程中未有效利用视觉证据。现有的训练范式依赖于大规模基于标题的预训练，随后进行监督微调和强化学习，以实现指令跟随和复杂推理。然而，这种预训练仅提供了弱视觉基础，短小粗糙的标题使模型偏向显著物体而忽视细粒度视觉证据。本文提出视觉证据预对齐（VEPA），作为预训练与后训练之间的中间阶段，探索了一种新颖的基于充分性的目标，通过群体相对策略优化（GRPO）来优化问题条件下的视觉证据描述。大量实验表明，VEPA在视觉要求高的评估中持续提升性能，并补充了标准的监督后训练。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在推理过程中未能有效利用视觉证据的问题。现有方法依赖于粗糙的标题，导致模型对细粒度视觉信息的忽视。

核心思路：提出视觉证据预对齐（VEPA）作为预训练与后训练之间的中间阶段，利用基于充分性的目标来优化视觉证据描述，从而增强模型的视觉推理能力。

技术框架：VEPA的整体架构包括三个主要阶段：首先进行基于标题的预训练，然后引入VEPA阶段进行视觉证据的优化，最后进行标准的监督后训练。

关键创新：VEPA的核心创新在于引入了群体相对策略优化（GRPO），通过优化问题条件下的视觉证据描述，显著增强了模型的视觉基础，与传统方法相比，提供了更强的视觉对齐能力。

关键设计：在VEPA阶段，设计了新的损失函数以促进视觉证据的充分性，并通过调整模型参数来优化视觉信息的提取和利用，确保模型能够更好地理解和利用细粒度的视觉信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VEPA在多个视觉推理基准测试中表现优异，相较于基线模型，性能提升幅度达到10%以上，验证了其在视觉证据利用方面的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、视觉内容检索和多模态交互等。通过增强模型对视觉证据的理解能力，VEPA可以提升这些系统的准确性和用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multimodal large language models (MLLMs) integrate strong text reasoning with visual inputs, yet their responses can be inconsistent with the underlying images, indicating ineffective utilization of visual evidence during inference. The prevailing training paradigm relies on large-scale caption-based pretraining for general alignment, followed by supervised fine-tuning and reinforcement learning to enable instruction following and complex reasoning. However, such pretraining provides only weak visual grounding: short, coarse captions bias models toward salient objects while neglecting fine-grained visual evidence. In this paper, we introduce Visual Evidence Pre-Alignment (VEPA), an intermediate stage between pretraining and post-training that explores a novel sufficiency-driven objective with Group Relative Policy Optimization (GRPO) to optimize question-conditioned visual evidence descriptions. Extensive experiments across diverse benchmarks show that our VEPA consistently enhances performance on visually demanding evaluations and complements standard supervised post-training. Further analyses show that the income stems from strengthened, transferable visual grounding, rather than from additional task-specific training.