One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models

📄 arXiv: 2311.08870v3 📥 PDF

作者: Mingzhao Yang, Shangchao Su, Bin Li, Xiangyang Xue

分类: cs.CV, cs.LG

发布日期: 2023-11-15 (更新: 2025-04-04)

💡 一句话要点

提出FedLMG以解决异构客户端的单次联邦学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 扩散模型 异构客户端 合成数据集 模型聚合 隐私保护 机器学习

📋 核心要点

  1. 现有的单次联邦学习方法通常需要在客户端部署基础模型，导致计算负担加重，适应性差。
  2. FedLMG方法允许客户端仅上传本地模型，通过局部模型引导生成合成数据集，降低了计算需求。
  3. 在三个大规模真实数据集上的实验表明，FedLMG的聚合模型性能超越了所有对比方法，展示了显著的改进。

📝 摘要（中文）

近年来，基于扩散模型的单次联邦学习方法因其卓越性能而受到关注。然而，大多数方法需要在客户端部署基础模型，增加了计算要求并降低了对异构客户端模型的适应性。本文提出FedLMG，一种基于局部模型引导的扩散模型的异构单次联邦学习方法。FedLMG允许客户端仅训练和上传本地模型，避免了对基础模型的依赖。通过分类损失和BN损失捕捉客户端分布的特征，服务器利用反向传播生成符合客户端分布的合成数据集，进而训练聚合模型。实验表明，FedLMG生成的合成数据集在质量和多样性上与客户端数据集相当，聚合模型的性能超越了所有对比方法，展示了扩散模型在联邦学习中的巨大潜力。

🔬 方法详解

问题定义：本文旨在解决现有单次联邦学习方法在异构客户端上计算要求高、适应性差的问题。传统方法依赖于基础模型，限制了其在多样化客户端环境中的应用。

核心思路：FedLMG的核心思路是通过局部模型引导生成合成数据集，客户端仅需训练和上传本地模型，避免了对基础模型的依赖，从而降低计算负担并提高适应性。

技术框架：FedLMG的整体架构包括客户端和服务器两个主要模块。客户端通过分类损失和BN损失训练本地模型，服务器则利用反向传播技术生成合成数据集，基于这些数据集训练聚合模型。

关键创新：FedLMG的主要创新在于通过局部模型引导生成合成数据集，显著降低了客户端的计算需求，并有效适应了异构客户端的特征。这一方法与传统依赖基础模型的方式本质上不同。

关键设计：在客户端，使用分类损失和BN损失来捕捉广泛的类别特征和详细的上下文特征；在服务器端，利用上传的客户端模型进行反向传播，生成符合客户端分布的合成数据集，进而用于训练聚合模型。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedLMG生成的合成数据集在质量和多样性上与客户端数据集相当，聚合模型的性能超越了所有对比方法，甚至达到了性能上限，展示了扩散模型在联邦学习中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和物联网等需要保护用户隐私的场景。FedLMG能够在不共享原始数据的情况下，实现高效的模型训练，具有重要的实际价值和广泛的应用前景。未来，随着异构设备的普及，该方法有望在更多领域得到应用。

📄 摘要（原文）

In recent years, One-shot Federated Learning methods based on Diffusion Models have garnered increasing attention due to their remarkable performance. However, most of these methods require the deployment of foundation models on client devices, which significantly raises the computational requirements and reduces their adaptability to heterogeneous client models compared to traditional FL methods. In this paper, we propose FedLMG, a heterogeneous one-shot Federated learning method with Local Model-Guided diffusion models. Briefly speaking, in FedLMG, clients do not need access to any foundation models but only train and upload their local models, which is consistent with traditional FL methods. On the clients, we employ classification loss and BN loss to capture the broad category features and detailed contextual features of the client distributions. On the server, based on the uploaded client models, we utilize backpropagation to guide the server's DM in generating synthetic datasets that comply with the client distributions, which are then used to train the aggregated model. By using the locally trained client models as a medium to transfer client knowledge, our method significantly reduces the computational requirements on client devices and effectively adapts to scenarios with heterogeneous clients. Extensive quantitation and visualization experiments on three large-scale real-world datasets, along with theoretical analysis, demonstrate that the synthetic datasets generated by FedLMG exhibit comparable quality and diversity to the client datasets, which leads to an aggregated model that outperforms all compared methods and even the performance ceiling, further elucidating the significant potential of utilizing DMs in FL.