Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning

📄 arXiv: 2509.15087v2 📥 PDF

作者: Lei Wang, Jieming Bian, Letian Zhang, Jie Xu

分类: cs.LG

发布日期: 2025-09-18 (更新: 2025-10-10)

备注: Accepted to NeurIPS 2025

💡 一句话要点

FedLEASE：联邦学习中自适应LoRA专家分配与选择，提升异构数据下的微调性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 低秩适应 LoRA 混合专家 异构数据

📋 核心要点

  1. 联邦学习在LLM微调中面临异构数据挑战，现有方法难以兼顾模型性能和通信效率。
  2. FedLEASE通过自适应聚类客户端和分配LoRA专家，实现领域特定知识的有效学习。
  3. 实验表明，FedLEASE在异构环境下显著优于现有联邦微调方法，并保持通信效率。

📝 摘要（中文）

大型语言模型(LLMs)在各种任务中展现了卓越的能力，但针对特定领域的微调通常需要大量的领域数据，而这些数据可能分布在多个组织中。联邦学习(FL)提供了一种保护隐私的解决方案，但在应用于LLMs时面临计算约束的挑战。低秩适应(LoRA)已成为一种参数高效的微调方法，但单个LoRA模块通常难以应对跨不同领域的异构数据。本文解决了联邦LoRA微调中的两个关键挑战：1.确定异构客户端之间LoRA专家的最佳数量和分配；2.使客户端能够根据其特定数据特征选择性地利用这些专家。我们提出了FedLEASE（Federated adaptive LoRA Expert Allocation and SElection），这是一个新颖的框架，它基于表示相似性自适应地聚类客户端，以分配和训练特定领域的LoRA专家。它还引入了一种自适应的top-$M$混合专家机制，允许每个客户端选择最佳数量的利用专家。我们在不同的基准数据集上进行的大量实验表明，在异构客户端设置中，FedLEASE明显优于现有的联邦微调方法，同时保持了通信效率。

🔬 方法详解

问题定义：联邦学习场景下，各个客户端的数据分布存在显著差异（异构性），导致传统的联邦微调方法，尤其是基于单一LoRA模块的方法，难以在所有客户端上取得良好的性能。此外，如何有效地分配和利用有限的计算资源，为每个客户端定制合适的LoRA专家数量，也是一个挑战。

核心思路：FedLEASE的核心思路是根据客户端数据的相似性，将客户端聚类成不同的组，为每个组分配和训练一个或多个LoRA专家。每个客户端可以根据自身数据的特点，选择性地利用这些专家，从而实现个性化的微调。这种方法既能利用不同领域的数据，又能避免单一模型在异构数据上的性能瓶颈。

技术框架：FedLEASE框架主要包含以下几个阶段：1. 客户端聚类：基于客户端上传的表示向量（例如，来自预训练模型的输出），使用聚类算法（如k-means）将客户端划分为不同的组。2. LoRA专家分配：为每个客户端组分配一个或多个LoRA专家。专家的数量可以根据组内数据的复杂度和客户端的计算资源进行调整。3. LoRA专家训练：每个客户端组使用本地数据训练其分配的LoRA专家。4. 自适应专家选择：每个客户端根据自身数据与不同LoRA专家的相关性，选择top-$M$个专家进行加权融合。$M$的值可以自适应地调整，以平衡模型性能和计算成本。

关键创新：FedLEASE的关键创新在于：1. 自适应客户端聚类：根据客户端数据的相似性动态地进行聚类，而不是预先定义或随机分配。2. LoRA专家自适应分配：根据客户端组的特点，自适应地分配LoRA专家的数量。3. 自适应Top-$M$专家选择：允许每个客户端根据自身数据特点，选择最相关的LoRA专家进行融合，而不是强制使用所有专家。

关键设计：1. 表示向量提取：使用预训练模型的中间层输出作为客户端数据的表示向量，以捕捉数据的语义信息。2. 聚类算法选择：可以使用不同的聚类算法，如k-means或谱聚类，根据实际情况进行选择。3. 专家选择策略：可以使用不同的策略来选择top-$M$个专家，例如基于注意力机制或相似度度量。4. 损失函数设计：可以使用交叉熵损失函数或其他的损失函数来训练LoRA专家。

📊 实验亮点

实验结果表明，FedLEASE在多个基准数据集上显著优于现有的联邦微调方法。例如，在某些数据集上，FedLEASE的性能提升超过5%，同时保持了与传统方法相当的通信效率。自适应专家选择机制能够有效地平衡模型性能和计算成本，使得FedLEASE在资源受限的设备上也能取得良好的效果。

🎯 应用场景

FedLEASE适用于各种联邦学习场景，尤其是在数据异构性较高的领域，例如医疗健康、金融风控和自然语言处理。它可以帮助企业在保护用户隐私的前提下，利用分布在不同机构的数据，训练出更加精准和个性化的模型，从而提升服务质量和用户体验。未来，该方法可以扩展到其他参数高效微调技术，并应用于更复杂的模型结构。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated impressive capabilities across various tasks, but fine-tuning them for domain-specific applications often requires substantial domain-specific data that may be distributed across multiple organizations. Federated Learning (FL) offers a privacy-preserving solution, but faces challenges with computational constraints when applied to LLMs. Low-Rank Adaptation (LoRA) has emerged as a parameter-efficient fine-tuning approach, though a single LoRA module often struggles with heterogeneous data across diverse domains. This paper addresses two critical challenges in federated LoRA fine-tuning: 1. determining the optimal number and allocation of LoRA experts across heterogeneous clients, and 2. enabling clients to selectively utilize these experts based on their specific data characteristics. We propose FedLEASE (Federated adaptive LoRA Expert Allocation and SElection), a novel framework that adaptively clusters clients based on representation similarity to allocate and train domain-specific LoRA experts. It also introduces an adaptive top-$M$ Mixture-of-Experts mechanism that allows each client to select the optimal number of utilized experts. Our extensive experiments on diverse benchmark datasets demonstrate that FedLEASE significantly outperforms existing federated fine-tuning approaches in heterogeneous client settings while maintaining communication efficiency.