Unlock the Power: Competitive Distillation for Multi-Modal Large Language Models

📄 arXiv: 2311.08213v1 📥 PDF

作者: Xinwei Li, Li Lin, Shuai Wang, Chen Qian

分类: cs.CV, cs.CL

发布日期: 2023-11-14

💡 一句话要点

提出竞争性蒸馏框架以提升多模态大语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 知识蒸馏 大语言模型 双向反馈 模型预训练 智能助手 自动内容生成

📋 核心要点

  1. 现有的多模态LLMs知识蒸馏方法资源消耗大且缺乏双向反馈，限制了模型的性能提升。
  2. 提出的竞争性多模态蒸馏框架（CoMD）通过双向知识转移，增强了学生模型的多模态能力。
  3. 经过四次蒸馏的7B大小学生模型在ScienceQA和LLaVA测试集上超越了当前最先进的LLaVA-13B模型，且在零-shot设置中表现优异。

📝 摘要（中文）

近年来，多模态内容生成引起了研究者的广泛关注，尤其是在基于大语言模型（LLMs）的视觉指令调优方面。为了提升这些LLMs的性能和泛化能力，从预训练的多模态模型（教师）向更紧凑的多模态LLMs（学生）蒸馏知识的实践受到了极大关注。然而，现有的多模态LLMs知识蒸馏方法资源密集且单向，忽视了学生与教师模型之间的相互反馈潜力。因此，我们提出了一种创新的竞争性多模态蒸馏框架（CoMD），该框架捕捉教师与学生模型之间的双向反馈，并不断更新学生模型所学习的多模态能力。我们的实验分析表明，该知识转移方法持续提升了学生模型的能力。

🔬 方法详解

问题定义：本论文旨在解决现有多模态LLMs知识蒸馏方法的单向性和资源消耗问题，强调教师与学生模型之间缺乏有效的反馈机制。

核心思路：提出竞争性多模态蒸馏框架（CoMD），通过双向知识转移机制，促进教师与学生模型之间的持续互动，从而提升学生模型的多模态学习能力。

技术框架：该框架分为两个阶段：第一阶段为多模态预训练，学生模型在大量过滤后的多模态数据集上进行训练；第二阶段为多模态竞争性蒸馏，促进学生与教师模型之间的双向知识转移。

关键创新：CoMD的核心创新在于引入了双向反馈机制，使得学生模型能够在学习过程中不断更新其多模态能力，这与传统的单向蒸馏方法形成鲜明对比。

关键设计：在模型设计中，采用了适应性损失函数以平衡教师与学生模型的知识转移，同时在多模态数据集的选择上进行了精细化处理，以确保训练数据的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过四次蒸馏的7B大小学生模型在ScienceQA和LLaVA测试集上超越了LLaVA-13B模型，且在零-shot设置中表现优于其他强基线，验证了CoMD框架的有效性和优越性。

🎯 应用场景

该研究的潜在应用场景包括智能助手、自动内容生成、教育技术等领域，能够提升多模态交互系统的智能化水平。未来，随着多模态大语言模型的不断发展，该框架有望在更广泛的应用中发挥重要作用，推动人机交互的进步。

📄 摘要（原文）

Recently, multi-modal content generation has attracted lots of attention from researchers by investigating the utilization of visual instruction tuning based on large language models (LLMs). To enhance the performance and generalization ability of such LLMs, the practice of distilling knowledge from pretrained multi-modal models (a.k.a. teachers) to more compact multi-modal LLMs (students) has gained considerable interest. However, the prevailing paradigm of instructiontuning in multi-modal LLMs knowledge distillation is resource-intensive and unidirectional, neglecting the potential for mutual feedback between the student and teacher models. Thus, we propose an innovative Competitive Multi-modal Distillation framework (CoMD), which captures bidirectional feedback between teacher and student models and continually updates the multi-modal capabilities that the student model has learned. It comprises two stages: multi-modal pre-training and multi-modal competitive distillation. The first stage pre-trains the student model on a large number of filtered multi-modal datasets. The second stage facilitates a bidirectional knowledge transfer between the student and teacher models. Our experimental analysis of diverse datasets shows that our knowledge transfer method consistently improves the capabilities of the student model. Finally, the 7B-sized student model after four distillations surpassed the current state-of-the-art model LLaVA-13B on the ScienceQA and LLaVA Test dataset, also outperforms other strong baselines in the zero-shot setting.