Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks

📄 arXiv: 2401.02731v4 📥 PDF

作者: Haoyuan Wu, Haisheng Zheng, Zhuolun He, Bei Yu

分类: cs.AI

发布日期: 2024-01-05 (更新: 2024-09-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出参数高效稀疏性构建方法以提升指令调优效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令调优 混合专家 稀疏模型 参数高效性 自然语言处理 模型容量扩展

📋 核心要点

  1. 现有大型语言模型在多任务处理时常因模型容量受限而表现不佳，扩展容量面临挑战。
  2. 本文提出的PESC方法通过MoE架构将稠密模型转化为稀疏模型，集成适配器以提高模型的灵活性和效率。
  3. 实验结果表明，PESC方法在指令调优中显著提升了稀疏模型的性能，超越了GPT-3.5等基线模型。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理任务中表现出色，但在多任务性能上受到模型容量的限制。为了解决这一问题，本文提出了参数高效稀疏性构建（PESC）方法，通过混合专家（MoE）架构将稠密模型转化为稀疏模型。PESC在稀疏模型的MoE层中集成适配器，区分专家而不改变这些层内的单个权重，从而显著降低计算成本和GPU内存需求。实验证明，使用PESC进行指令调优的稀疏模型在性能上超越了其他稀疏和稠密模型，并在通用能力上优于GPT-3.5。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多任务处理中的性能限制，现有方法在扩展模型容量时面临计算成本和内存需求的挑战。

核心思路：提出的PESC方法通过将稠密模型转化为稀疏模型，利用混合专家架构提高模型的参数效率，同时保持模型的性能。

技术框架：PESC方法的整体架构包括将适配器集成到MoE层中，形成稀疏模型的专家结构，允许在不改变原有权重的情况下实现专家的区分。

关键创新：PESC的核心创新在于通过适配器的引入，使得稀疏模型在保持高效性的同时，能够在功能空间中保证近似质量，显著降低计算资源的消耗。

关键设计：在设计中，PESC通过最小化参数增加来扩展模型容量，采用特定的损失函数和网络结构，以确保在指令调优过程中模型的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用PESC进行指令调优的稀疏模型在性能上超越了其他稀疏和稠密模型，尤其在通用能力上显著优于GPT-3.5，展示了PESC方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升大型语言模型的指令调优能力，PESC方法能够在多任务环境中提供更高效的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have demonstrated considerable proficiency in general natural language processing (NLP) tasks. Instruction tuning, a successful paradigm, enhances the ability of LLMs to follow natural language instructions and exhibit robust generalization across general tasks. However, these models often encounter performance limitations across multiple tasks due to constrained model capacity. Expanding this capacity during the instruction tuning phase poses significant challenges. To address this issue, we introduce parameter-efficient sparsity crafting (PESC), which crafts dense models into sparse models using the mixture-of-experts (MoE) architecture. PESC integrates adapters into the MoE layers of sparse models, differentiating experts without altering the individual weights within these layers. This method significantly reduces computational costs and GPU memory requirements, facilitating model capacity expansion through a minimal parameter increase when guaranteeing the quality of approximation in function space compared to original sparse upcycling. Our empirical evaluation demonstrates the effectiveness of the PESC method. Using PESC during instruction tuning, our best sparse model outperforms other sparse and dense models and exhibits superior general capabilities compared to GPT-3.5. Our code is available at https://github.com/wuhy68/Parameter-Efficient-MoE.