Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning

📄 arXiv: 2606.31825v1 📥 PDF

作者: Junha Jung, Minbyul Jeong, Suhyeon Lim, Sungwook Jung, Jaehoon Yun, Taeyun Roh, Mujeen Sung, Jaewoo Kang

分类: cs.CV, cs.AI

发布日期: 2026-06-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出MRPO以解决医疗多模态推理中的失败级联问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗推理 多模态学习 强化学习 视觉问答 错误级联 算法优化

📋 核心要点

  1. 现有的后训练流程主要集中于最终答案的正确性，导致推理过程难以优化，尤其是在医疗应用中。
  2. 提出的MRPO算法通过逐步过程奖励来优化推理过程，针对早期错误施加更大惩罚，从而打破级联失败。
  3. 实验结果表明，MRPO在多个基准上表现优异，显著降低早期推理失败率，并提升最终答案的准确性。

📝 摘要（中文）

近年来，多模态大语言模型在临床图像推理中展现出良好前景，但现有的后训练流程主要集中于结果，导致稀疏的信用分配，难以优化推理过程。我们的分析表明，早期推理失败导致的级联错误是医疗视觉问答基准中错误预测的主要原因。为此，我们提出了医疗推理感知策略优化（MRPO），一种结合逐步过程奖励的强化学习算法。当最终答案错误时，MRPO对早期无效推理步骤中的标记施加指数级的惩罚，从而打破失败级联而不影响成功路径。实验结果显示，MRPO在多个多模态LLM基础上均优于标准GRPO和最新的RL基线，并在Qwen3-VL-8B-Instruct上超越了更大的医疗MLLM，如HuatuoGPT-Vision-34B，提升幅度达到2.79分。此外，MRPO将早期推理失败率从64.0%降低至13.0%，表明针对性地缓解级联失败能提高推理质量和最终答案准确性。

🔬 方法详解

问题定义：本论文旨在解决医疗视觉问答中的推理失败级联问题。现有方法过于依赖最终结果，导致早期推理错误未能得到有效处理，影响整体性能。

核心思路：MRPO算法通过引入逐步过程奖励，针对早期推理错误施加更大惩罚，从而有效打破错误传播链，优化推理过程。

技术框架：MRPO的整体架构包括多个模块，首先进行初步推理，然后根据推理步骤的有效性动态调整奖励和惩罚，最终优化整个推理路径。

关键创新：MRPO的核心创新在于其逐步奖励机制，能够有效识别并惩罚早期错误，与传统方法相比，显著提高了推理的准确性和稳定性。

关键设计：在参数设置上，MRPO采用了动态惩罚机制，损失函数设计上强调早期错误的影响，网络结构则基于多模态大语言模型进行优化，确保了算法的有效性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MRPO在多个多模态LLM基准上均超越了标准GRPO和其他RL基线，尤其在Qwen3-VL-8B-Instruct上超越了HuatuoGPT-Vision-34B，提升幅度达到2.79分。同时，早期推理失败率显著降低，从64.0%降至13.0%，表明该方法有效提升了推理质量。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持系统等。通过提高医疗推理的准确性，MRPO能够帮助医生更好地理解和分析患者的医疗图像，从而提升临床诊断的效率和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO