Conditional Prompt Tuning for Multimodal Fusion
作者: Ruixiang Jiang, Lingbo Liu, Changwen Chen
分类: cs.CL, cs.AI
发布日期: 2023-11-28
备注: under review
🔗 代码/项目: GITHUB
💡 一句话要点
提出条件提示调优以实现高效多模态融合
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 条件提示调优 提示专家混合 参数效率 深度学习
📋 核心要点
- 现有的多模态融合方法在参数效率和表现力上存在不足，难以充分利用预训练知识。
- 提出了一种条件提示调优方法，通过解耦提示向量并引入提示专家混合，动态适应不同实例的特征捕捉。
- 在三个多模态数据集上进行的实验表明，该方法在性能上超越了传统微调方法，同时大幅减少了可训练参数的数量。
📝 摘要（中文）
本文展示了一种通过一种模态的表示有效引导另一种模态提示的条件提示调优方法，以实现参数高效的多模态融合。具体而言，我们首先对一种模态进行编码，并使用其表示作为先验条件来提示另一种模态的所有冻结层。通过将传统提示向量解耦为三种类型的专用提示，能够自适应捕捉全局和实例级特征。为更好地生成实例级提示，我们引入了提示专家混合（MoPE），动态路由每个实例到最合适的提示专家进行编码。我们进一步研究了一个正则化项，以避免提示专家路由的退化。得益于我们的设计，方法能够有效转移单模态编码器的预训练知识到下游多模态任务。与传统提示相比，我们的MoPE条件提示更具表现力，能够更好地扩展训练数据和提示总数。我们还证明了我们的提示调优是架构无关的，提供了高度的模块化。通过在三个多模态数据集上的广泛实验，展示了最先进的结果，匹配或超越了通过微调获得的性能，同时仅需0.7%的可训练参数。
🔬 方法详解
问题定义：本文旨在解决现有多模态融合方法在参数效率和表现力上的不足，尤其是在如何有效利用单模态预训练知识方面存在挑战。
核心思路：通过条件提示调优，利用一种模态的表示作为先验来引导另一种模态的提示，设计了三种专用提示以适应不同层次的特征捕捉。
技术框架：整体架构包括对一种模态的编码、提示专家的动态路由以及正则化项的引入，主要模块包括提示向量解耦、MoPE路由机制和正则化策略。
关键创新：最重要的创新在于引入了提示专家混合（MoPE），使得每个实例能够动态选择最合适的提示专家，从而提升了提示的表达能力和适应性。
关键设计：在参数设置上，采用了正则化项以避免提示专家路由的退化，同时设计了三种类型的提示向量，分别针对全局特征和实例特征进行优化。通过这种设计，显著提高了模型的表现力和训练效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的MoPE条件提示调优方法在三个多模态数据集上达到了最先进的性能，超越了传统微调方法，且仅需0.7%的可训练参数，显示出显著的参数效率和表现力提升。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理以及多模态学习等。通过高效的多模态融合方法，可以在图像与文本的结合、视频理解等任务中实现更优的性能，推动相关领域的技术进步和实际应用价值。
📄 摘要（原文）
We show that the representation of one modality can effectively guide the prompting of another modality for parameter-efficient multimodal fusion. Specifically, we first encode one modality and use its representation as a prior to conditionally prompt all frozen layers of the other modality. This is achieved by disentangling the vanilla prompt vectors into three types of specialized prompts that adaptively capture global-level and instance-level features. To better produce the instance-wise prompt, we introduce the mixture of prompt experts (MoPE) to dynamically route each instance to the most suitable prompt experts for encoding. We further study a regularization term to avoid degenerated prompt expert routing. Thanks to our design, our method can effectively transfer the pretrained knowledge in unimodal encoders for downstream multimodal tasks. Compared with vanilla prompting, we show that our MoPE-based conditional prompting is more expressive, thereby scales better with training data and the total number of prompts. We also demonstrate that our prompt tuning is architecture-agnostic, thereby offering high modularity. Extensive experiments over three multimodal datasets demonstrate state-of-the-art results, matching or surpassing the performance achieved through fine-tuning, while only necessitating 0.7% of the trainable parameters. Code will be released: https://github.com/songrise/ConditionalPrompt.