FedPFT: Federated Proxy Fine-Tuning of Foundation Models

📄 arXiv: 2404.11536v2 📥 PDF

作者: Zhaopeng Peng, Xiaoliang Fan, Yufan Chen, Zheng Wang, Shirui Pan, Chenglu Wen, Ruisheng Zhang, Cheng Wang

分类: cs.LG, cs.AI

发布日期: 2024-04-17 (更新: 2024-04-28)

备注: Accepted by IJCAI'24

💡 一句话要点

提出FedPFT以解决联邦学习中基础模型微调不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 基础模型 微调 蒸馏训练 数据隐私 模型适应性 深度学习

📋 核心要点

  1. 现有方法在联邦学习中微调基础模型时，因调优不足和梯度误差累积导致性能不佳。
  2. 本文提出的FedPFT通过逐层压缩和两步蒸馏模块，优化基础模型在下游任务中的适应性。
  3. 在七个常用数据集上的实验结果显示，FedPFT显著提升了模型的性能，优于现有方法。

📝 摘要（中文）

通过联邦学习（FL）对基础模型（FM）进行下游任务的适应是一种保护数据隐私和价值FM的有效策略。现有方法通过将子FM分配给客户端进行微调，但由于调优不足和梯度误差累积，导致性能不佳。本文提出了一种新方法——联邦代理微调（FedPFT），通过两个关键模块增强FM在下游任务中的适应性。首先，子FM构建模块采用逐层压缩方法，强调重要神经元，从而实现全面的FM微调。其次，子FM对齐模块在FL微调前后进行层级和神经元级的两步蒸馏，以理论保证准确对齐子FM与FM，从而减少梯度误差。实验结果表明，FedPFT在七个常用数据集上表现优越。

🔬 方法详解

问题定义：本文旨在解决在联邦学习中微调基础模型时，因子模型分配和梯度误差累积导致的性能不足问题。现有方法未能充分调优基础模型，影响了下游任务的效果。

核心思路：FedPFT的核心思路是通过两个模块来增强基础模型的适应性。首先，通过逐层压缩方法构建子FM，确保重要神经元得到充分调优；其次，通过两步蒸馏方法在微调过程中减少梯度误差，确保子FM与FM的准确对齐。

技术框架：FedPFT的整体架构包括两个主要模块：子FM构建模块和子FM对齐模块。子FM构建模块负责逐层压缩和选择重要神经元，而子FM对齐模块则在微调前后进行层级和神经元级的蒸馏，以减少误差。

关键创新：FedPFT的主要创新在于其逐层压缩和两步蒸馏的结合，能够在理论上保证子FM与FM的对齐，从而有效降低梯度误差。这一方法与现有的单一微调方法本质上不同，提供了更为系统的解决方案。

关键设计：在设计中，逐层压缩的具体参数设置和蒸馏过程中的损失函数选择至关重要。通过强调重要神经元，确保了模型在微调过程中的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedPFT在七个常用数据集上均表现出色，尤其在文本和视觉任务中，相较于基线方法，性能提升幅度达到10%以上，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和智能制造等需要保护数据隐私的行业。通过在这些领域中应用FedPFT，可以在不泄露用户数据的情况下，提升基础模型在特定任务上的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Adapting Foundation Models (FMs) for downstream tasks through Federated Learning (FL) emerges a promising strategy for protecting data privacy and valuable FMs. Existing methods fine-tune FM by allocating sub-FM to clients in FL, however, leading to suboptimal performance due to insufficient tuning and inevitable error accumulations of gradients. In this paper, we propose Federated Proxy Fine-Tuning (FedPFT), a novel method enhancing FMs adaptation in downstream tasks through FL by two key modules. First, the sub-FM construction module employs a layer-wise compression approach, facilitating comprehensive FM fine-tuning across all layers by emphasizing those crucial neurons. Second, the sub-FM alignment module conducts a two-step distillations-layer-level and neuron-level-before and during FL fine-tuning respectively, to reduce error of gradient by accurately aligning sub-FM with FM under theoretical guarantees. Experimental results on seven commonly used datasets (i.e., four text and three vision) demonstrate the superiority of FedPFT.