Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models

📄 arXiv: 2404.10237v3 📥 PDF

作者: Songtao Jiang, Tuo Zheng, Yan Zhang, Yeying Jin, Li Yuan, Zuozhu Liu

分类: cs.CV, cs.CL

发布日期: 2024-04-16 (更新: 2024-09-01)

💡 一句话要点

提出Med-MoE以解决医疗多模态任务的轻量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗影像分析 多模态学习 专家混合模型 轻量化模型 医疗问答 图像分类 资源受限环境

📋 核心要点

  1. 现有的多模态大型语言模型在医疗决策中表现出色，但在资源受限的场景中应用受限，主要由于其庞大的参数和计算需求。
  2. 本文提出的Med-MoE框架通过专家混合模型的方式，结合多模态对齐和指令调优，提供了一种轻量化的解决方案。
  3. 实验结果显示，Med-MoE在多个医疗问答和图像分类任务中，性能优于或持平于现有最先进模型，同时显著减少了激活参数的数量。

📝 摘要（中文）

近年来，通用或领域特定的多模态大型语言模型在医疗决策中取得了显著进展。然而，这些模型通常需要在大规模数据集上进行训练或微调，且参数量庞大，计算需求高，限制了其在资源受限场景中的临床应用。本文提出了一种新颖的轻量化框架Med-MoE（专家混合模型），旨在解决医疗领域的判别性和生成性多模态任务。Med-MoE的学习过程包括多模态医疗对齐、指令调优与路由、以及领域特定的MoE调优。实验结果表明，该模型在医疗问答和图像分类任务中表现优于或与最先进的基线相当，同时仅需激活约30%-50%的模型参数。

🔬 方法详解

问题定义：本文旨在解决医疗领域多模态任务中的轻量化问题，现有模型在资源受限环境中应用困难，主要由于其庞大的参数和计算需求。

核心思路：Med-MoE框架通过专家混合模型的设计，结合多模态对齐和指令调优，能够在不同任务中选择性激活专家，从而实现轻量化和高效性。

技术框架：该框架包括三个主要阶段：首先进行多模态医疗图像与语言模型的对齐，其次通过指令调优和可训练的路由器实现任务适应，最后结合多个领域特定的专家进行调优。

关键创新：Med-MoE的核心创新在于通过专家选择机制，能够在不同输入模态中动态激活相关专家，显著减少了模型的计算负担，与传统的全参数模型相比具有本质区别。

关键设计：模型设计中采用了可训练的路由器来选择激活的专家，并通过元专家进一步增强专家的能力，确保在不同任务中均能保持高效的性能。具体的参数设置和损失函数设计也经过精心调整，以优化模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个医疗问答和图像分类任务中，Med-MoE模型的性能超过或持平于当前最先进的基线模型，同时仅需激活约30%-50%的参数。这一显著的参数效率提升，展示了该模型在实际应用中的巨大潜力。

🎯 应用场景

Med-MoE框架在医疗影像分析、临床决策支持和医疗问答系统等领域具有广泛的应用潜力。其轻量化特性使得该模型能够在资源受限的环境中有效运行，提升医疗服务的可及性和效率。未来，该技术有望推动智能医疗的发展，改善患者的诊疗体验。

📄 摘要（原文）

Recent advancements in general-purpose or domain-specific multimodal large language models (LLMs) have witnessed remarkable progress for medical decision-making. However, they are designated for specific classification or generative tasks, and require model training or finetuning on large-scale datasets with sizeable parameters and tremendous computing, hindering their clinical utility across diverse resource-constrained scenarios in practice. In this paper, we propose a novel and lightweight framework Med-MoE (Mixture-of-Experts) that tackles both discriminative and generative multimodal medical tasks. The learning of Med-MoE consists of three steps: multimodal medical alignment, instruction tuning and routing, and domain-specific MoE tuning. After aligning multimodal medical images with LLM tokens, we then enable the model for different multimodal medical tasks with instruction tuning, together with a trainable router tailored for expert selection across input modalities. Finally, the model is tuned by integrating the router with multiple domain-specific experts, which are selectively activated and further empowered by meta expert. Comprehensive experiments on both open- and close-end medical question answering (Med-VQA) and image classification tasks across datasets such as VQA-RAD, SLAKE and Path-VQA demonstrate that our model can achieve performance superior to or on par with state-of-the-art baselines, while only requiring approximately 30\%-50\% of activated model parameters. Extensive analysis and ablations corroborate the effectiveness and practical utility of our method.