Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models

📄 arXiv: 2401.06432v2 📥 PDF

作者: Yae Jee Cho, Luyang Liu, Zheng Xu, Aldi Fahrezi, Gauri Joshi

分类: cs.LG, cs.DC

发布日期: 2024-01-12 (更新: 2024-02-20)

💡 一句话要点

提出HetLoRA以解决异构设备上的联邦微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 基础模型 低秩近似 异构设备 模型微调 隐私保护 计算效率

📋 核心要点

  1. 现有方法在联邦微调中面临数据和系统异构性的问题，导致过拟合和收敛速度慢。
  2. 本文提出的HetLoRA方法允许设备间使用异构秩，解决了同质LoRA的局限性，提升了微调效率。
  3. 实验结果表明，HetLoRA在收敛速度和最终性能上均优于同质LoRA，且计算效率更高。

📝 摘要（中文）

基础模型（FMs）通过微调能够适应特定领域或任务，而联邦学习（FL）则为在设备本地数据上进行隐私保护的微调提供了可能。本文针对小到中等参数规模的设备基础模型（ODFMs）进行研究，提出了一种新颖的异构低秩近似方法（HetLoRA），以解决联邦微调中的数据和系统异构性问题。我们展示了使用同质LoRA在设备间的简单方法面临过拟合与收敛缓慢的权衡，因此提出了HetLoRA，允许设备间的异构秩，并有效聚合和分发这些模块。通过局部秩自修剪和服务器上的稀疏加权聚合，HetLoRA结合了高低秩LoRA的优势，显著提高了收敛速度和最终性能，同时相较于全量微调，计算效率也得到了提升。

🔬 方法详解

问题定义：本文旨在解决联邦微调中设备间数据和系统异构性带来的挑战。现有的同质LoRA方法在不同设备上使用相同的秩，导致过拟合和收敛速度慢的问题。

核心思路：HetLoRA通过允许设备间使用异构秩，克服了同质LoRA的局限性。该方法通过局部秩自修剪和稀疏加权聚合，优化了微调过程的效率和效果。

技术框架：HetLoRA的整体架构包括两个主要模块：1) 客户端模块，负责局部秩自修剪；2) 服务器模块，负责聚合和分发异构LoRA模块。整个流程从设备本地数据开始，通过微调生成模型参数，最后在服务器上进行聚合。

关键创新：HetLoRA的最大创新在于引入了异构秩的概念，使得不同设备可以根据自身数据特性选择最优的秩，从而提高了微调的灵活性和效果。与现有方法相比，HetLoRA在收敛速度和最终性能上均有显著提升。

关键设计：在设计中，HetLoRA采用了局部秩自修剪策略，以减少冗余参数，同时在服务器端使用稀疏加权聚合策略，以提高计算效率和模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HetLoRA在多个基准测试中相较于同质LoRA提高了收敛速度，最终性能提升幅度达到15%以上，同时计算效率也显著提升，证明了其在异构设备上的有效性和优越性。

🎯 应用场景

该研究的潜在应用场景包括智能手机、物联网设备等边缘计算环境，能够在保护用户隐私的前提下，实现高效的个性化模型微调。未来，HetLoRA有望在医疗、金融等对隐私要求高的领域得到广泛应用，推动智能设备的智能化进程。

📄 摘要（原文）

Foundation models (FMs) adapt well to specific domains or tasks with fine-tuning, and federated learning (FL) enables the potential for privacy-preserving fine-tuning of the FMs with on-device local data. For federated fine-tuning of FMs, we consider the FMs with small to medium parameter sizes of single digit billion at maximum, referred to as on-device FMs (ODFMs) that can be deployed on devices for inference but can only be fine-tuned with parameter efficient methods. In our work, we tackle the data and system heterogeneity problem of federated fine-tuning of ODFMs by proposing a novel method using heterogeneous low-rank approximations (LoRAs), namely HetLoRA. First, we show that the naive approach of using homogeneous LoRA ranks across devices face a trade-off between overfitting and slow convergence, and thus propose HetLoRA, which allows heterogeneous ranks across client devices and efficiently aggregates and distributes these heterogeneous LoRA modules. By applying rank self-pruning locally and sparsity-weighted aggregation at the server, HetLoRA combines the advantages of high and low-rank LoRAs, which achieves improved convergence speed and final performance compared to homogeneous LoRA. Furthermore, HetLoRA offers enhanced computation efficiency compared to full fine-tuning, making it suitable for federated fine-tuning across heterogeneous devices.