Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning

📄 arXiv: 2607.01191v1 📥 PDF

作者: Hongxing Li, Xiufeng Huang, Dingming Li, Wenjing Jiang, Zixuan Wang, Haolei Xu, Hanrong Zhang, Haiwen Hong, Longtao Huang, Hui Xue, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

分类: cs.CV

发布日期: 2026-07-01

备注: Code: https://github.com/ZJU-REAL/Perceive-to-Reason

💡 一句话要点

提出Perceive-to-Reason框架以解决细粒度视觉推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 感知与推理 多模态学习 强化学习 深度学习 图像理解 模型优化

📋 核心要点

  1. 现有视觉-语言模型在细粒度视觉推理中面临挑战，尤其是当重要视觉线索被高分辨率图像掩盖时。
  2. 本文提出的Perceive-to-Reason框架将视觉推理分为两个阶段，首先进行证据定位，然后进行问题回答。
  3. P2R在多个基准测试中表现优异，尤其是P2R-4B在V-Star等数据集上显著提升了性能，展示了其有效性。

📝 摘要（中文）

细粒度视觉推理对于视觉-语言模型仍然具有挑战性，尤其是在高分辨率图像中，关键的视觉线索往往被埋没。现有方法依赖于重复裁剪或测试时视觉搜索来引入局部证据，但通常未能明确区分感知与推理。本文提出了Perceive-to-Reason（P2R）框架，将细粒度视觉推理形式化为两个阶段：模型首先作为感知者定位与问题相关的证据，然后作为推理者基于标注图像和裁剪区域回答问题。为更好地与这一解耦的形式对齐训练，我们进一步引入了感知-推理交替GRPO（PRA-GRPO），这是一种角色感知的强化学习策略，使用最终答案监督在感知和推理更新之间交替进行。基于Qwen3-VL-Instruct-2B/4B/8B，P2R在各模型规模上持续提升性能，特别是P2R-4B在V-Star上达到93.2%，在HR-Bench-4K上达到81.9%，在HR-Bench-8K上达到80.5%，显著超越其对应的基础模型。

🔬 方法详解

问题定义：本文旨在解决细粒度视觉推理中的感知与推理未能有效解耦的问题。现有方法往往依赖于重复裁剪或视觉搜索，未能明确区分感知与推理的过程。

核心思路：提出Perceive-to-Reason（P2R）框架，将视觉推理过程分为两个阶段：首先作为感知者定位与问题相关的视觉证据，然后作为推理者基于这些证据进行回答。这样的设计旨在提高模型对细粒度信息的捕捉能力。

技术框架：P2R框架包含两个主要模块：感知模块和推理模块。感知模块负责从高分辨率图像中提取与问题相关的局部证据，而推理模块则基于这些证据进行最终的答案生成。

关键创新：PRA-GRPO策略是本研究的重要创新，采用角色感知的强化学习方法，在感知和推理之间交替更新，仅依赖最终答案的监督。这种方法有效地提升了模型的学习效率和推理能力。

关键设计：在模型训练中，采用了特定的损失函数来平衡感知与推理的更新，同时在网络结构上进行了优化，以适应不同规模的模型（如Qwen3-VL-Instruct-2B/4B/8B）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

P2R框架在多个基准测试中表现出色，特别是P2R-4B在V-Star上达到了93.2%的准确率，在HR-Bench-4K和HR-Bench-8K上分别达到了81.9%和80.5%。这些结果表明，P2R显著超越了其基础模型，展示了其在细粒度视觉推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像理解和多模态交互等。通过有效解耦感知与推理，P2R框架能够在复杂场景中提供更准确的视觉推理能力，推动相关技术的发展与应用。

📄 摘要（原文）

Fine-grained visual reasoning remains challenging for vision-language models, especially when small but critical visual cues are buried in high-resolution images. Existing approaches rely on repeated cropping or test-time visual search to introduce local evidence, but they typically do not explicitly distinguish perception from reasoning. In this paper, we propose Perceive-to-Reason (P2R), a unified framework that formulates fine-grained visual reasoning as a two-stage process: the model first localizes question-relevant evidence as a Perceiver, and then answers the question as a Reasoner based on the annotated image and cropped regions. To better align training with this decoupled formulation, we further introduce Perception-Reasoning Alternating GRPO (PRA-GRPO), a role-aware reinforcement learning strategy that alternates between perception-focused and reasoning-focused updates using only final-answer supervision. Built on top of Qwen3-VL-Instruct-2B/4B/8B, P2R consistently improves performance across model scales. In particular, P2R-4B achieves 93.2% on V-Star, 81.9% on HR-Bench-4K, and 80.5% on HR-Bench-8K, substantially outperforming its corresponding backbone. Further experiments show that the benefits of P2R extend beyond high-resolution benchmarks to broader multimodal reasoning tasks. These results suggest that explicitly decoupling perception from reasoning provides an effective framework for fine-grained visual reasoning.