DPPA: Pruning Method for Large Language Model to Model Merging

📄 arXiv: 2403.02799v1 📥 PDF

作者: Yaochen Zhu, Rui Xia, Jiajun Zhang

分类: cs.CL, cs.AI

发布日期: 2024-03-05

💡 一句话要点

提出DPPA以解决复杂模型合并中的参数冲突问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型合并 动态剪枝 参数冲突 微调模型 性能提升 多领域学习

📋 核心要点

  1. 现有的模型合并方法在处理复杂微调模型时，往往面临参数冲突和性能下降的问题。
  2. 本文提出了动态剪枝分区放大（DPPA）方法，通过动态剪枝和动态分区放大来解决复杂模型合并中的挑战。
  3. 实验结果显示，DPPA在仅保留20%领域特定参数的情况下，性能与保留90%参数的其他方法相当，并实现了近20%的性能提升。

📝 摘要（中文）

模型合并旨在结合来自多个领域的微调模型，以提高模型在不同领域的能力。现有研究多集中于合并阶段解决参数冲突，而本研究则在剪枝阶段进行干预。我们提出了一种双阶段方法，称为动态剪枝分区放大（DPPA），以应对复杂微调模型的合并挑战。首先，我们引入了一种基于幅度剪枝的动态剪枝方法，旨在提高高剪枝率下的性能。随后，我们提出了动态分区放大策略，旨在根据参数的重要性动态放大参数分区。实验结果表明，我们的方法在仅保留20%的领域特定参数的情况下，性能与保留90%参数的其他方法相当，并在模型合并后实现了近20%的显著性能提升。

🔬 方法详解

问题定义：本论文旨在解决在合并复杂微调模型时出现的参数冲突问题。现有方法在处理复杂模型时，往往无法有效保持性能，尤其是在参数偏差显著的情况下。

核心思路：我们提出的DPPA方法通过双阶段策略，首先进行动态剪枝以提高高剪枝率下的性能，然后通过动态分区放大来增强重要参数的影响力。这样的设计旨在在减少参数的同时，尽可能保留模型的性能。

技术框架：DPPA的整体架构包括两个主要模块：动态剪枝（DP）和动态分区放大（DPA）。动态剪枝模块负责根据参数的重要性进行剪枝，而动态分区放大模块则根据剪枝后的参数重要性动态调整参数的权重。

关键创新：DPPA的主要创新在于将剪枝与参数重要性动态调整相结合，克服了传统方法在复杂模型合并中性能下降的问题。与现有方法相比，DPPA在高剪枝率下仍能保持较高的性能。

关键设计：在动态剪枝阶段，我们采用了基于幅度的剪枝策略，并设置了适当的剪枝阈值。在动态分区放大阶段，我们设计了一个动态调整机制，根据参数的重要性进行实时调整，以确保模型在剪枝后的性能最大化。

📊 实验亮点

实验结果表明，DPPA方法在仅保留20%的领域特定参数的情况下，其性能与保留90%参数的其他方法相当。此外，在模型合并后，DPPA实现了近20%的性能提升，显示出其在复杂模型合并中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和多领域模型的集成等。通过有效合并来自不同领域的微调模型，DPPA可以提升模型在多任务学习中的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Model merging is to combine fine-tuned models derived from multiple domains, with the intent of enhancing the model's proficiency across various domains. The principal concern is the resolution of parameter conflicts. A substantial amount of existing research remedy this issue during the merging stage, with the latest study focusing on resolving this issue throughout the pruning stage. The DARE approach has exhibited promising outcomes when applied to a simplistic fine-tuned model. However, the efficacy of this method tends to wane when employed on complex fine-tuned models that show a significant parameter bias relative to the baseline model. In this paper, we introduce a dual-stage method termed Dynamic Pruning Partition Amplification (DPPA), devised to tackle the challenge of merging complex fine-tuned models. Initially, we introduce Dynamically Pruning (DP), an improved approach based on magnitude pruning, which aim is to enhance performance at higher pruning rates. Subsequently, we propose Dynamically Partition Amplification (DPA), a rescaling strategy, is designed to dynamically amplify parameter partitions in relation to their significance levels. The experimental results show that our method maintains a mere 20% of domain-specific parameters and yet delivers a performance comparable to other methodologies that preserve up to 90% of parameters. Furthermore, our method displays outstanding performance post-pruning, leading to a significant improvement of nearly 20% performance in model merging. We make our code on Github.