PaLMR: Towards Faithful Visual Reasoning via Multimodal Process Alignment

📄 arXiv: 2603.06652 📥 PDF

作者: Yantao Li, Qiang Hui, Chenyang Yan, Kanzhi Cheng, Fang Zhao, Chao Tan, Huanling Gao, Jianbing Zhang, Kai Wang, Xinyu Dai, Shiguo Lian

分类: cs.CV, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出PaLMR以解决多模态推理过程不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉推理 过程对齐 强化学习 模型可靠性 推理幻觉 层次奖励 数据层

📋 核心要点

  1. 现有方法在推理过程中容易出现幻觉现象，导致模型在错误的视觉证据下得出正确答案，影响推理的可靠性。
  2. 本文提出的PaLMR框架通过对齐推理过程和结果，解决了多模态推理中的过程不一致问题，增强了模型的视觉推理能力。
  3. 实验表明，PaLMR在HallusionBench上取得了最先进的结果，并在其他基准上保持了强劲的性能，显著减少了推理幻觉。

📝 摘要（中文）

近年来，强化学习提升了大型语言模型及多模态语言模型的推理能力，但现有的奖励设计过于关注最终答案的正确性，导致模型在推理过程中出现幻觉现象，即在错误的视觉证据下得出正确答案。为了解决这一过程级别的不一致性，本文提出了PaLMR框架，该框架不仅对结果进行对齐，还对推理过程本身进行对齐。PaLMR包含两个互补组件：一个感知对齐的数据层，构建具有结构化伪真值和可验证视觉事实的过程感知推理数据；一个过程对齐的优化层，构建具有过程感知评分函数的层次奖励融合方案，以鼓励视觉上真实的推理链并提高训练稳定性。实验结果表明，PaLMR显著减少了推理幻觉，提高了视觉推理的可信度，并在HallusionBench上取得了最先进的结果，同时在MMMU、MathVista和MathVerse上保持了强劲的表现。

🔬 方法详解

问题定义：本文旨在解决多模态推理中存在的过程不一致性问题，现有方法过于关注最终答案的正确性，忽视了推理过程的可靠性，导致模型在错误的视觉证据下得出正确答案。

核心思路：PaLMR框架通过引入过程对齐机制，确保推理过程与结果的一致性，旨在减少推理幻觉现象，提高模型的视觉推理能力。

技术框架：PaLMR由两个主要组件构成：感知对齐的数据层和过程对齐的优化层。数据层负责构建过程感知推理数据，优化层则通过层次奖励融合方案来优化模型的推理过程。

关键创新：PaLMR的核心创新在于同时对齐推理过程和结果，采用过程感知评分函数来鼓励视觉上真实的推理链，这与现有方法单一关注最终结果的设计有本质区别。

关键设计：在数据层中，使用结构化伪真值和可验证视觉事实来构建推理数据；在优化层中，设计了层次奖励融合方案和过程感知评分函数，以提高训练的稳定性和推理的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PaLMR在HallusionBench上取得了最先进的结果，显著减少了推理幻觉现象。同时，在MMMU、MathVista和MathVerse等基准上，模型保持了强劲的性能，展示了其在多模态推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、视觉推理任务和多模态交互系统。通过提高模型的推理可靠性，PaLMR能够在实际应用中提供更准确的视觉理解和决策支持，未来可能对人机交互和自动化系统产生深远影响。

📄 摘要（原文）

Reinforcement learning has recently improved the reasoning ability of Large Language Models and Multimodal LLMs, yet prevailing reward designs emphasise final-answer correctness and consequently tolerate process hallucinations--cases where models reach the right answer while misperceiving visual evidence. We address this process-level misalignment with PaLMR, a framework that aligns not only outcomes but also the reasoning process itself. PaLMR comprises two complementary components: a perception-aligned data layer that constructs process-aware reasoning data with structured pseudo-ground-truths and verifiable visual facts, and a process-aligned optimisation layer that constructs a hierarchical reward fusion scheme with a process-aware scoring function to encourage visually faithful chains-of-thought and improve training stability. Experiments on Qwen2.5-VL-7B show that our approach substantially reduces reasoning hallucinations and improves visual reasoning fidelity, achieving state-of-the-art results on HallusionBench while maintaining strong performance on MMMU, MathVista, and MathVerse. These findings indicate that PaLMR offers a principled and practical route to process-aligned multimodal reasoning, advancing the reliability and interpretability of MLLMs.