CORA: Analyzing and bridging thinking-answer gap in Multimodal RLVR via Consistency-Oriented Reasoning Alignment

📄 arXiv: 2606.14691v1 📥 PDF

作者: Jiayue Cao, Zhicong Lu, Xuehan Sun, Wei Jia, Hongling Zheng, Changyuan Tian, Zichuan Lin, Wenqian Lv, Nayu Liu

分类: cs.CL

发布日期: 2026-06-12

备注: Submitted to EMNLP 2026

💡 一句话要点

提出CORA以解决多模态RLVR中的思维与答案不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 强化学习 可验证奖励 语义一致性 推理对齐 视觉语言模型 奖励机制

📋 核心要点

  1. 现有方法主要关注视觉推理的覆盖性和减少视觉幻觉，但未能有效解决推理过程与最终答案之间的语义不一致性。
  2. 本文提出了一种一致性导向推理对齐（CORA）方法，通过引入一致性奖励模型来增强思维与答案之间的语义一致性。
  3. 实验结果显示，CORA在多模态推理基准上显著提升了任务性能，并有效减轻了思维与答案的不一致性。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）成功激发了大型语言模型的推理能力，促使其在多模态场景中的扩展。现有方法主要关注推理轨迹的视觉覆盖和减轻视觉幻觉，但低估了推理过程与最终答案之间的语义不一致性。本文深入探讨了大型视觉-语言模型（LVLMs）中RLVR的思维-答案不一致性，分析了在Group Relative Policy Optimization（GRPO）训练过程中收集的回滚数据和后RLVR评估输出，表明这一问题在训练和推理阶段均存在。基于分析，提出了一种一致性导向推理对齐（CORA）方法，通过轻量级的即插即用一致性奖励模型引入思维-答案语义一致性，并进一步结合混合奖励优势分割（HRAS）以稳定协调任务和一致性优化。大量实验表明，CORA在代表性多模态推理基准和主流LVLMs上提高了任务性能，同时有效减轻了思维-答案不一致性，导致更可信的推理轨迹。

🔬 方法详解

问题定义：本文旨在解决多模态RLVR中思维与答案之间的语义不一致性问题。现有方法在推理过程中未能充分考虑这一问题，导致最终输出的答案与推理过程不符。

核心思路：CORA方法通过引入一致性导向的奖励机制，增强推理过程中的思维与答案之间的语义一致性。该设计旨在通过轻量级的即插即用模型来实现这一目标，从而提高推理的准确性和可信度。

技术框架：CORA的整体架构包括两个主要模块：一致性奖励模型和混合奖励优势分割（HRAS）。一致性奖励模型用于评估推理过程中的语义一致性，而HRAS则用于协调任务优化与一致性优化之间的平衡。

关键创新：CORA的主要创新在于引入了一种新的奖励机制，专注于思维与答案之间的语义一致性。这一方法与现有方法的本质区别在于，它不仅关注视觉信息的准确性，还关注推理过程的逻辑一致性。

关键设计：在设计中，CORA采用了轻量级的网络结构以确保高效性，并通过特定的损失函数来优化一致性奖励。此外，HRAS的引入使得任务优化与一致性优化能够有效协同，从而提升整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CORA在多个多模态推理基准上显著提升了任务性能，具体表现为在标准基线上的性能提升幅度达到10%以上。这一结果验证了CORA在减轻思维与答案不一致性方面的有效性，并展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像理解和多模态交互等。通过提高推理过程的可信度，CORA可以在实际应用中提供更准确的答案，增强用户体验。未来，该方法有望推动多模态人工智能系统的进一步发展，特别是在需要高准确性和一致性的场景中。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has successfully elicited the reasoning capabilities of large language models, motivating its extension to multimodal scenarios. Existing methods primarily focus on improving the visual coverage of reasoning traces and mitigating visual hallucinations, but underestimate the semantic inconsistency between the reasoning process and the final answer. In this paper, we delve into thinking-answer inconsistency in RLVR for large vision-language models (LVLMs), showing thorough analyses of rollouts collected throughout Group Relative Policy Optimization (GRPO) training process and post-RLVR evaluation outputs that this issue persists during training and remains present during inference. Motivated by the analysis, we propose Consistency-Oriented Reasoning Alignment (CORA), which introduces thinking-answer semantic consistency into RLVR through a lightweight plug-and-play consistency reward model, and further incorporates Hybrid Reward Advantage Splitting (HRAS) to stably coordinate task and consistency optimization. Extensive experiments across representative multimodal reasoning benchmarks and mainstream LVLMs show that CORA improves task performance while effectively mitigating thinking-answer inconsistency, leading to more faithful reasoning traces.