V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

📄 arXiv: 2608.25580v1 📥 PDF

作者: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

分类: cs.CV, cs.AI

发布日期: 2026-08-26

备注: Proj page: https://shulin16.github.io/v-rubrics/

💡 一句话要点

提出V-Rubrics以解决视觉证据不足的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 强化学习 多模态学习 视觉可信度 推理一致性 指令遵循 知识导向推理 评分标准

📋 核心要点

  1. 现有视觉语言模型在生成回答时，常常缺乏对视觉证据的充分支持，导致回答的可信度下降。
  2. 本文提出V-Rubrics，通过将参考答案分解为原子命题，利用视觉可信度、推理一致性和指令遵循进行评分，解决了信用分配问题。
  3. 实验结果显示，基于评分标准的GRPO在多个基准测试中表现优异，尤其是在知识导向和视觉推理任务上取得了显著提升。

📝 摘要（中文）

视觉语言模型能够生成流畅的回答，但往往缺乏对视觉证据的充分支持。本文认为这是多模态后训练中的信用分配失败。现有的标量结果奖励只能指示答案是否可接受，却无法识别哪些视觉事实是有依据的，哪些推理步骤是有效的，或哪些指令约束被忽视。为此，本文提出了基于视觉评分标准的强化学习（V-Rubrics），将参考响应分解为原子命题，并根据视觉可信度、推理一致性和指令遵循对生成的答案进行评分。实验表明，基于评分标准的GRPO在知识导向和视觉推理基准上显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型生成的回答缺乏对视觉证据支持的问题。现有方法的痛点在于，标量奖励无法有效识别支持答案的视觉事实和推理步骤。

核心思路：论文提出的V-Rubrics方法通过将参考响应分解为原子命题，针对每个命题进行评分，从而实现对生成答案的更细致的评估。这种设计能够更好地反映答案的视觉可信度和推理一致性。

技术框架：整体架构包括三个主要模块：首先，通过微调Qwen3-VL-8B-Instruct模型获得SFT检查点；其次，构建包含50,248个示例的V-Rubrics 50K训练集；最后，基于评分标准进行模型训练，使用组件级、前缀局部化的评分。

关键创新：最重要的创新点在于引入了评分标准作为奖励抽象，能够局部化评分并提供结构化的部分信用，这与传统的全局奖励机制有本质区别。

关键设计：在模型训练中，采用了基于规则的过滤器构建训练集，并通过拒绝采样得出示例难度。此外，所有示例均在相同的结构化提示和协议下由Gemini-3-Pro进行标注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于评分标准的GRPO在知识导向和视觉推理基准上显著优于共享的SFT基线和仅答案的GRPO，尤其在视觉推理任务上取得了最大的性能提升，验证了评分标准作为视觉后训练奖励的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、视觉辅助的决策支持工具以及多模态交互界面等。通过提高模型对视觉证据的理解和利用能力，能够显著提升用户体验和系统的实际应用价值。未来，该方法可能在教育、医疗和自动驾驶等领域产生深远影响。

📄 摘要（原文）

Vision-language models can produce fluent answers that are insufficiently grounded in the visual evidence: a single unsupported object, chart value, or intermediate inference can undermine an otherwise plausible response. We argue that this is a credit-assignment failure in multimodal post-training. Scalar outcome rewards indicate whether an answer is acceptable, but do not identify which visual facts are grounded, which reasoning steps are valid, or which instruction constraints are missed. We introduce Visual Rubrics-Based Reinforcement Learning, which decomposes reference responses into atomic propositions and scores generated answers along Visual Faithfulness (VF), Reasoning Consistency (RC), and Instruction Following (IF). The resulting rubric items provide structured partial credit and localize rubric credit when supporting evidence spans are available. We first obtain an SFT checkpoint by fine-tuning Qwen3-VL-8B-Instruct on the public OpenMMReasoner-SFT-874K corpus, adapting OpenMMReasoner's cold-start data recipe. We construct V-Rubrics 50K, a 50,248-example training set from 17 visually grounded sources, by applying rule-based filters before deriving example difficulty from rejection-sampling scores and then annotating every example with Gemini-3-Pro under the same structured prompt and protocol. We train our model based on the same SFT checkpoint using component-wise, prefix-localized rubric credit. Experiments show that our rubricbased GRPO improves over both the shared SFT baseline and answer-only GRPO, with the largest gains on knowledge-oriented and visually grounded reasoning benchmarks. The results show rubrics as a useful reward abstraction for visual post-training.