Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large Language Models

📄 arXiv: 2402.12048v1 📥 PDF

作者: Didi Zhu, Zhongyi Sun, Zexi Li, Tao Shen, Ke Yan, Shouhong Ding, Kun Kuang, Chao Wu

分类: cs.CL

发布日期: 2024-02-19

💡 一句话要点

提出Model Tailor以解决多模态大语言模型的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灾难性遗忘 多模态大语言模型 微调 模型补丁 补偿机制 任务适应性 图像描述 视觉问答

📋 核心要点

  1. 灾难性遗忘是多模态大语言模型微调中的主要挑战，导致在新任务上性能提升时原始任务性能显著下降。
  2. 提出的Model Tailor方法通过替换少量微调参数，保留大部分预训练参数，从而有效减轻灾难性遗忘。
  3. 实验结果表明，Model Tailor在原始任务上保持约99%的有效性，并在新任务上实现约97%的效果，显示出良好的任务适应性。

📝 摘要（中文）

灾难性遗忘是微调多模态大语言模型（MLLMs）时面临的关键挑战，改善未见任务的性能往往导致原始任务性能显著下降。本文对MLLMs中的灾难性遗忘进行了全面分析，并提出了一种名为Model Tailor的后训练调整方法。该方法主要保留预训练参数，同时替换少量（≤10%）微调参数，保持原始任务的有效性约99%，在新任务上相比标准微调实现约97%的效果。具体而言，我们通过融合显著性和敏感性分析的策略，推导出稀疏掩码以识别“模型补丁”，并引入补偿机制以“装饰补丁”，提升模型在目标和原始任务上的性能。此外，我们的方法适用于多任务场景。通过在InstructBLIP和LLaVA-1.5上进行的图像描述和视觉问答任务的广泛实验，我们的方法展示了显著的任务适应性，同时保留了固有的预训练能力。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在微调过程中出现的灾难性遗忘问题。现有方法在提升新任务性能时，往往导致原始任务性能的显著下降，影响模型的整体有效性。

核心思路：Model Tailor方法的核心在于保留大部分预训练参数，仅替换少量微调参数（≤10%），从而在保持原始任务性能的同时，提升新任务的表现。通过这种方式，模型能够在不同任务之间实现更好的平衡。

技术框架：该方法的整体架构包括两个主要模块：首先，通过融合显著性和敏感性分析，推导出稀疏掩码以识别“模型补丁”；其次，采用补偿机制对“补丁”进行装饰，以增强模型在目标任务和原始任务上的性能。

关键创新：Model Tailor的创新之处在于其通过稀疏掩码的设计，能够有效识别需要调整的参数，并通过补偿机制增强模型的适应性。这一方法与传统的微调方法相比，显著降低了灾难性遗忘的风险。

关键设计：在参数设置上，Model Tailor仅替换不超过10%的微调参数，确保大部分预训练参数得以保留。此外，损失函数的设计考虑了原始任务和新任务的平衡，确保模型在两个任务上的性能都能得到提升。整体网络结构保持了原有的多模态特性，增强了模型的灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Model Tailor在原始任务上保持约99%的有效性，同时在新任务上实现约97%的效果，相较于标准微调方法，表现出显著的性能提升。这表明该方法在多模态任务中的有效性和适应性。

🎯 应用场景

该研究的潜在应用领域包括图像描述、视觉问答等多模态任务，能够有效提升模型在多任务场景下的适应性和性能。未来，Model Tailor方法可能在更广泛的AI应用中发挥重要作用，尤其是在需要快速适应新任务的场景中。

📄 摘要（原文）

Catastrophic forgetting emerges as a critical challenge when fine-tuning multi-modal large language models (MLLMs), where improving performance on unseen tasks often leads to a significant performance drop on the original tasks. This paper presents a comprehensive analysis of catastrophic forgetting in MLLMs and introduces a post-training adjustment method called Model Tailor. Our method primarily preserves the pre-trained parameters while replacing a small number ($\leq$ 10\%) of fine-tuned parameters, maintaining $\sim$ 99\% effectiveness on original tasks versus pre-training, and achieving $\sim$ 97\% on new tasks compared to standard fine-tuning. Specifically, we derive a sparse mask to identify the "model patch", based on a fusion strategy that integrates salience and sensitivity analysis. Subsequently, a compensation mechanism is introduced to "decorate the patch", enhancing the model's performance on both target and original tasks. Additionally, our method is adaptable to multi-task scenarios. Through extensive experiments on InstructBLIP and LLaVA-1.5 in both image captioning and visual question answering tasks, our approach demonstrates significant task adaptability while preserving inherent pre-trained capabilities.