PerceptRL: Making Visual Perception Rewardable in MLLMs from Answers to Interactions

📄 arXiv: 2610.37471v1 📥 PDF

作者: Tongkun Guan, Zhibo Yang, Mingkun Yang, Haocheng Wang, Wei Shen, Xiaokang Yang

分类: cs.CV, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出PerceptRL以解决多模态大语言模型的视觉感知瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉感知 强化学习 问答系统 错误验证 图像描述 模型优化

📋 核心要点

  1. 现有方法在多模态大语言模型的视觉感知上存在细粒度错误，限制了推理能力的提升。
  2. 论文提出PerceptRL，通过多代理管道提取和验证视觉错误，并将其转化为问答对，增强感知能力。
  3. 在七个基准测试中，PerceptRL的平均准确率达到71.6%，超越了基础模型和最强VLM，提升幅度显著。

📝 摘要（中文）

细粒度视觉感知在多模态大语言模型（MLLMs）的后训练过程中仍然是一个瓶颈，因为感知错误会限制推理优化的收益。尽管图像-文本预训练能够改善感知，但其影响在后续阶段中可能减弱。为此，本文提出了PerceptRL，通过多代理管道提取密集图像描述中的验证错误，并将相应的视觉事实转化为固定答案标签和基于规则的奖励的问答对。PerceptRL在多个基准测试中取得了71.6%的平均准确率，超越了使用相同工具的基础模型和最强评估的前沿视觉语言模型（VLM）。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在后训练阶段的细粒度视觉感知问题。现有方法在处理主观且信息密集的图像描述时，难以设计可验证的奖励，导致感知错误未能有效纠正。

核心思路：PerceptRL通过一个多代理管道提取验证错误，并将这些错误转化为固定答案的问答对，利用规则奖励来增强模型的视觉感知能力。该方法分为两个互补层次，分别处理高错误域和一般域的错误。

技术框架：PerceptRL的整体架构包括多个模块：首先，通过多代理管道提取图像描述中的错误；其次，将错误转化为问答对；然后，使用单轮和多轮的感知强化学习（RL）进行训练，最后通过共享的冷启动SFT进行模型优化。

关键创新：最重要的创新在于将视觉错误转化为可验证的问答对，并通过多轮检查解决细粒度和密集案例。这种设计使得模型能够更好地处理复杂的视觉信息。

关键设计：在训练过程中，采用了共享冷启动SFT、单轮感知RL和多轮感知代理RL的组合，确保模型在不同阶段的学习效果。同时，坐标注入和基于定位的奖励监督设计用于纠正空间操作和提高中间空间保真度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七个基准测试中，PerceptRL的平均准确率达到71.6%，相比于使用相同工具的基础模型提升了15.7个百分点，超越了最强评估的前沿视觉语言模型（VLM）5.2个百分点，显示出显著的性能提升。

🎯 应用场景

PerceptRL的研究成果在多个领域具有广泛的应用潜力，包括智能助手、自动驾驶、医疗影像分析等。通过提高多模态大语言模型的视觉感知能力，能够更好地支持复杂场景下的决策和推理，推动相关技术的进步与应用落地。

📄 摘要（原文）

Fine-grained visual perception remains a bottleneck during post-training of multimodal large language models (MLLMs), as perceptual errors can constrain gains from reasoning-focused optimization. Although image-caption pre-training improves perception, its influence can weaken as subsequent stages change data mixtures and objectives. Continuing caption supervision during post-training is challenging because subjective, information-dense descriptions complicate verifiable reward design. We present PerceptRL, which strengthens perception at two complementary levels. Perception RL uses a multi-agent pipeline to extract verified errors from dense image captions and convert the corresponding visual facts into QA pairs with fixed answer labels and rule-based rewards. Chain QA links correlated errors, while multiple-choice QA combines unrelated errors. A specialized route targets high-error domains with tailored verification, and a domain-agnostic general route covers errors beyond these domains. Perception Agentic RL addresses fine-grained and dense cases unresolved by single-turn Perception RL through multi-turn inspection with visual tools. We observe coordinate drift even in models trained to use tools, where incorrect crops or annotations distort evidence and propagate errors. Coordinate Injection corrects spatial operations in cold-start trajectories, while a grounding-aware process reward supervises intermediate spatial fidelity alongside final-answer correctness. Training proceeds through shared cold-start SFT, single-turn Perception RL, and multi-turn Perception Agentic RL. Across seven benchmarks under a shared tool-use protocol, PerceptRL achieves 71.6% average accuracy, surpassing the base model with the same tools and the strongest evaluated frontier VLM by 15.7 and 5.2 percentage points, respectively.