MoPE: Mixture of Prompt Experts for Parameter-Efficient and Scalable Multimodal Fusion

📄 arXiv: 2403.10568v4 📥 PDF

作者: Ruixiang Jiang, Lingbo Liu, Changwen Chen

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2024-03-14 (更新: 2025-11-14)

备注: Accepted to IEEE TMM

🔗 代码/项目: GITHUB

💡 一句话要点

提出MoPE以解决多模态融合中的适应性与表达性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 提示专家 参数效率 动态生成 实例特定

📋 核心要点

  1. 现有的基于提示的多模态融合方法在适应性和表达性上存在不足，限制了其在复杂应用中的效果。
  2. 本文提出了提示专家混合（MoPE）框架，通过动态生成实例特定的提示，提升了模型的适应性和表达能力。
  3. 在六个多模态数据集上的实验表明，MoPE在性能上达到或超过了微调方法，同时仅需0.8%的可训练参数。

📝 摘要（中文）

尽管基于提示的融合方法在参数效率上表现良好，但其有限的适应性和表达性限制了其在大规模多模态应用中的有效性。本文首次全面研究了这些局限性，提出了提示专家混合（MoPE）框架，通过动态生成实例特定的提示，显著增强了提示的适应性和表达性。MoPE利用多模态配对作为额外证据，使模型能够根据每个实例自适应选择最佳提示。与传统的提示融合方法不同，MoPE在保持固定提示长度的同时，有效扩展了专家数量，研究了正则化项以促进专家专业化，从而实现高度适应性和可解释性的提示。通过在六个涵盖四种模态的多模态数据集上的广泛实验，MoPE展示了最先进的多模态融合性能，仅需0.8%的可训练参数即可匹配或超越微调的性能。

🔬 方法详解

问题定义：本文旨在解决传统提示融合方法在多模态应用中适应性和表达性不足的问题。现有方法通常使用统一的提示，难以针对不同实例进行优化，导致性能瓶颈。

核心思路：论文提出的MoPE框架通过动态生成实例特定的提示，采用“分而治之”的策略，提升了提示的适应性和表达能力。通过利用多模态配对信息，模型能够自适应选择最优提示，从而更好地适应复杂的多模态关系。

技术框架：MoPE的整体架构包括多个专家模块，每个模块负责生成特定实例的提示。模型首先接收多模态输入，然后通过专家选择机制，动态生成与输入相关的提示，最后将生成的提示应用于下游任务。

关键创新：MoPE的核心创新在于引入了实例特定的提示生成机制，打破了传统方法的统一提示限制，显著提升了模型在多模态任务中的表现和适应性。

关键设计：在设计上，MoPE保持固定的提示长度，同时通过扩展专家数量来提升模型的表达能力。此外，研究了正则化项以促进专家的专业化，使得每个专家能够专注于特定类型的输入特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个多模态数据集上的实验结果显示，MoPE在多模态融合任务中达到了最先进的性能，超越了传统微调方法，且仅需0.8%的可训练参数。这一显著的参数效率提升，展示了MoPE在实际应用中的巨大潜力。

🎯 应用场景

该研究在多模态学习、计算机视觉和自然语言处理等领域具有广泛的应用潜力。MoPE框架能够有效处理复杂的多模态数据，适用于图像与文本结合的任务，如图像描述生成、视频理解等。未来，MoPE有望推动更多智能应用的发展，提升多模态系统的性能与效率。

📄 摘要（原文）

Despite the demonstrated parameter efficiency of prompt-based fusion, its limited adaptivity and expressiveness hinder its effectiveness for multimodal applications at scale. In this paper, we present the first comprehensive study addressing these limitations. Our key motivation is to ``divide and conquer'' the vanilla prompt, traditionally shared across all instances, by generating instance-specific prompts. Specifically, we propose the Mixture of Prompt Experts (MoPE), a framework that significantly enhances prompt adaptivity and expressiveness by dynamically generating instance-specific prompts. MoPE leverages multimodal pairings as additional evidence, allowing the model to adaptively select optimal prompts tailored to each individual instance. Unlike traditional prompt-fusion methods, which encounter scalability bottlenecks when optimizing long unified prompts, MoPE maintains fixed prompt length while effectively scaling the number of specialized experts. Moreover, we investigate regularization terms to encourage expert specialization, resulting in highly adaptive and interpretable prompting. MoPE fundamentally changes the scaling dynamic, unlocking greater expressiveness and adaptability to complex multimodal relationships, enabling the model to selectively attend to task-relevant sub-sequences based on instance-specific multimodal input. Extensive experiments across six multimodal datasets spanning four modalities demonstrate state-of-the-art performance for multimodal fusion, matching or surpassing the performance of fine-tuning while requiring only 0.8% of the trainable parameters. Code is available: https://github.com/songrise/MoPE.