Token-Sparse Medical Multimodal Reasoning via Dual-Stream Reinforcement Learning

📄 arXiv: 2606.31599v1 📥 PDF

作者: Kaitao Chen, Weiqian Zhao, Jiamin Wu, Qihao Zheng, Shangquan Sun, Chunfeng Song, Xiaosong Wang, Mu Zhou, Mianxin Liu

分类: cs.CV, cs.AI

发布日期: 2026-06-30

备注: ICML2026

💡 一句话要点

提出ViToS框架以解决医疗图像稀疏信息推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗图像 多模态推理 强化学习 视觉标记修剪 双流框架 临床决策支持 性能提升

📋 核心要点

  1. 现有的视觉语言模型在处理医疗图像时，常常因视觉证据稀疏而导致推理能力不足，影响临床决策。
  2. 本文提出的ViToS框架通过双流强化学习实现视觉标记的主动修剪和医疗多模态推理，提升了推理效率。
  3. 在七个医疗基准测试中，ViToS将视觉标记减少至77%，并在多个模型上实现了超过100%的相对性能提升。

📝 摘要（中文）

视觉语言模型（VLMs）结合强化学习（RL）在多模态推理方面取得了显著进展，但在医疗图像处理上仍面临挑战，尤其是医疗图像通常缺乏足够的视觉证据来支持临床决策。本文提出了一种双流强化学习框架ViToS，旨在实现视觉标记的主动修剪和医疗多模态推理。ViToS通过一个策略模型的两个任务分支进行训练，其中一个专注于标定，另一个在视觉标记修剪后进行稀疏推理。通过引入交叉反馈序列优化，解决了耦合策略学习问题，避免了梯度冲突，促进了共享策略模型的收敛。实验结果表明，该方法在七个医疗基准上将视觉标记减少至原序列长度的77%，并在Lingshu-7B和HuatuoGPT-Vision-7B上分别实现了108.27%和104.16%的相对性能提升。

🔬 方法详解

问题定义：本文旨在解决医疗图像中由于视觉证据稀疏导致的推理困难。现有方法未能有效整合视觉标记修剪与多模态推理，导致性能不足。

核心思路：ViToS框架通过双流强化学习设计，分别处理视觉标记的修剪和后续的推理任务，从而提高推理的准确性和效率。

技术框架：ViToS由一个策略模型和两个任务分支组成，一个分支专注于视觉标记的标定，另一个在修剪后进行稀疏推理。通过交叉反馈序列优化，解决了策略学习中的耦合问题。

关键创新：引入双流强化学习框架和交叉反馈序列优化是本文的主要创新，与现有方法相比，显著提升了推理效率和准确性。

关键设计：在模型训练中，采用了特定的损失函数以平衡两个任务的学习，并通过优化策略模型的共享参数来避免梯度冲突。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七个医疗基准测试中，ViToS将视觉标记减少至原序列长度的77%，在Lingshu-7B和HuatuoGPT-Vision-7B上分别实现了108.27%和104.16%的相对性能提升，显著提高了推理速度和准确性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持系统和智能医疗助手等。通过提高医疗图像的推理能力，ViToS能够帮助医生更准确地进行诊断和治疗决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language models (VLMs) combining reinforcement learning (RL) ignite remarkable progress in multimodal reasoning, yet still struggle with medical images, which typically exhibit extremely sparse visual evidence to inform clinical decision-making. We recognize that pruning visual tokens outside the grounding region greatly enhances medical reasoning. However, a united RL framework for active visual token pruning (VTP) and medical multimodal reasoning remains unestablished. Here, we propose a dual-stream RL framework, ViToS, to fulfill token pruning and question answering. ViToS trains one policy model with two task branches, where one focuses on grounding while the other conducts token-sparse reasoning after VTP. Furthermore, we solve the coupled policy learning problem by introducing the cross-feedback sequential optimization, avoiding gradient conflict and facilitating convergence of the shared policy model. Evaluated on seven medical benchmarks, our method reduces visual tokens to 77% of the original sequence length while achieving a 108.27% relative performance on Lingshu-7B and 104.16% relative performance on HuatuoGPT-Vision-7B. Overall, ViToS delivers superior performance and inference speedup, establishing an efficient paradigm for medical multimodal reasoning.