Federated Fine-Tuning of Foundation Models via Probabilistic Masking

📄 arXiv: 2311.17299v1 📥 PDF

作者: Vasileios Tsouvalas, Yuki Asano, Aaqib Saeed

分类: cs.LG, cs.CV, cs.DC

发布日期: 2023-11-29

备注: 19 pages, 9 figures

💡 一句话要点

提出DeltaMask以解决联邦学习中基础模型的通信效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 基础模型 通信效率 随机掩码 模型微调 稀疏性 更新压缩

📋 核心要点

  1. 现有的联邦学习方法在处理基础模型时面临通信开销大的挑战，尤其是参数量庞大时。
  2. 本文提出DeltaMask，通过随机掩码技术识别基础模型中的有效子网络，利用稀疏性和随机性进行更新压缩。
  3. 实验结果表明，DeltaMask在8个数据集和5种预训练模型上实现了低至0.09 bpp的比特率，显著提升了通信效率。

📝 摘要（中文）

基础模型（FMs）因其在多任务中的适应性和高性能而引领了机器学习的发展，但在联邦学习（FL）中的应用面临着由于参数量庞大而导致的通信开销问题。现有的通信高效FL策略，如梯度压缩，虽然将比特率降低至约1比特每参数（bpp），但仍未能充分利用FMs的特性，导致通信效率低下。本文提出了一种新方法DeltaMask，通过随机掩码检测FMs中的高效子网络，并利用随机性和稀疏性将更新压缩为紧凑的灰度图像，成功实现了低至0.09 bpp的比特率，提升了通信效率，同时保持了FMs的性能。

🔬 方法详解

问题定义：本文旨在解决基础模型在联邦学习中因参数量庞大而导致的高通信开销问题。现有方法如梯度压缩虽然降低了比特率，但未能有效利用基础模型的特性，依然面临通信效率低下的困境。

核心思路：DeltaMask的核心思路是通过随机掩码技术识别基础模型中的高效子网络，并利用这种随机性和稀疏性将更新压缩为紧凑的灰度图像，从而在极低的比特率下进行有效的模型微调。

技术框架：DeltaMask的整体架构包括数据预处理、随机掩码生成、子网络识别和更新压缩四个主要模块。首先，输入数据经过预处理后生成随机掩码，接着识别出有效的子网络，最后将更新压缩为灰度图像进行传输。

关键创新：DeltaMask的关键创新在于其随机掩码技术和基于概率滤波的更新压缩方法，这与传统的权重训练方法有本质区别，能够在极低比特率下保持模型性能。

关键设计：在设计中，DeltaMask采用了特定的损失函数来优化子网络的选择，同时在网络结构上引入了概率滤波器，以实现高效的更新压缩。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DeltaMask在8个数据集和5种不同的预训练模型上实现了低至0.09 bpp的比特率，相较于传统方法显著提升了通信效率，同时保持了基础模型的高性能。

🎯 应用场景

该研究的潜在应用领域包括智能手机、物联网设备等资源受限环境中的联邦学习场景，能够有效降低通信成本，同时保持模型性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Foundation Models (FMs) have revolutionized machine learning with their adaptability and high performance across tasks; yet, their integration into Federated Learning (FL) is challenging due to substantial communication overhead from their extensive parameterization. Current communication-efficient FL strategies, such as gradient compression, reduce bitrates to around $1$ bit-per-parameter (bpp). However, these approaches fail to harness the characteristics of FMs, with their large number of parameters still posing a challenge to communication efficiency, even at these bitrate regimes. In this work, we present DeltaMask, a novel method that efficiently fine-tunes FMs in FL at an ultra-low bitrate, well below 1 bpp. DeltaMask employs stochastic masking to detect highly effective subnetworks within FMs and leverage stochasticity and sparsity in client masks to compress updates into a compact grayscale image using probabilistic filters, deviating from traditional weight training approaches. Our comprehensive evaluations across various datasets and architectures demonstrate DeltaMask efficiently achieves bitrates as low as 0.09 bpp, enhancing communication efficiency while maintaining FMs performance, as measured on 8 datasets and 5 pre-trained models of various network architectures.