Parametric Feature Transfer: One-shot Federated Learning with Foundation Models

📄 arXiv: 2402.01862v1 📥 PDF

作者: Mahdi Beitollahi, Alex Bie, Sobhan Hemati, Leo Maxime Brunswic, Xu Li, Xi Chen, Guojun Zhang

分类: cs.LG, cs.AI

发布日期: 2024-02-02

备注: 20 pages, 12 figures

💡 一句话要点

提出FedPFT以解决一轮联邦学习中的准确性与通信效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 参数特征转移 基础模型 高斯混合模型 隐私保护 数据异质性 合成特征 模型训练

📋 核心要点

  1. 现有的一轮联邦学习方法在提升通信效率时，往往导致模型准确性下降，无法满足实际应用需求。
  2. 本文提出FedPFT方法，通过转移基础模型的参数特征来提升一轮联邦学习中的准确性和通信效率。
  3. 实验结果显示，FedPFT在多种数据异质性场景下，准确性提升可达20.6%，有效改善了通信-准确性的平衡。

📝 摘要（中文）

在一轮联邦学习（FL）中，客户端协作训练全球模型，现有方法在提升通信效率的同时，往往牺牲了准确性。本文提出了FedPFT（带参数特征转移的联邦学习）方法，利用基础模型的可转移性来提高一轮FL中的准确性和通信效率。该方法通过转移每个客户端的参数模型（具体为高斯混合模型）来提取基础模型的特征，并利用这些模型生成合成特征以训练分类器。实验结果表明，FedPFT在集中式和去中心化FL场景下，以及在不同数据异质性设置（如协变量偏移和任务偏移）中，准确性提升可达20.6%。此外，FedPFT遵循FL的数据最小化原则，客户端不发送真实特征，避免了潜在的重建攻击，并且能够通过差分隐私提供正式的隐私保障，展现出良好的隐私与准确性权衡。

🔬 方法详解

问题定义：本文旨在解决一轮联邦学习中存在的通信效率与模型准确性之间的矛盾。现有方法在提升通信效率的同时，往往导致模型性能下降，无法适应多样化的数据分布和任务需求。

核心思路：FedPFT方法的核心在于利用基础模型的可转移性，通过转移每个客户端的参数模型（高斯混合模型）来生成合成特征，从而提高模型的准确性和通信效率。该设计旨在减少真实特征的传输，降低隐私风险。

技术框架：FedPFT的整体架构包括三个主要模块：首先，客户端提取基础模型的特征并构建参数模型；其次，利用这些参数模型生成合成特征；最后，使用合成特征训练分类器头。该流程在单轮通信中完成，确保高效性。

关键创新：FedPFT的主要创新在于通过参数特征转移来增强模型的准确性，同时遵循数据最小化原则，避免了真实特征的传输，降低了隐私风险。这与现有方法的本质区别在于，FedPFT不依赖于真实数据的传输，而是通过合成特征进行训练。

关键设计：在技术细节上，FedPFT采用高斯混合模型作为参数模型，设计了合适的损失函数以优化合成特征的生成。此外，模型的训练过程考虑了不同数据异质性设置下的适应性，确保了在多种场景下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedPFT在八个数据集上的表现优于现有方法，准确性提升可达20.6%。该方法在集中式和去中心化的联邦学习场景中均表现出色，尤其在处理协变量偏移和任务偏移等数据异质性问题时，展现了显著的优势。

🎯 应用场景

FedPFT方法在医疗、金融和智能制造等领域具有广泛的应用潜力，能够在保护用户隐私的前提下，实现高效的模型训练。未来，该方法可进一步推广至更多需要联邦学习的场景，提升模型的准确性与安全性。

📄 摘要（原文）

In one-shot federated learning (FL), clients collaboratively train a global model in a single round of communication. Existing approaches for one-shot FL enhance communication efficiency at the expense of diminished accuracy. This paper introduces FedPFT (Federated Learning with Parametric Feature Transfer), a methodology that harnesses the transferability of foundation models to enhance both accuracy and communication efficiency in one-shot FL. The approach involves transferring per-client parametric models (specifically, Gaussian mixtures) of features extracted from foundation models. Subsequently, each parametric model is employed to generate synthetic features for training a classifier head. Experimental results on eight datasets demonstrate that FedPFT enhances the communication-accuracy frontier in both centralized and decentralized FL scenarios, as well as across diverse data-heterogeneity settings such as covariate shift and task shift, with improvements of up to 20.6%. Additionally, FedPFT adheres to the data minimization principle of FL, as clients do not send real features. We demonstrate that sending real features is vulnerable to potent reconstruction attacks. Moreover, we show that FedPFT is amenable to formal privacy guarantees via differential privacy, demonstrating favourable privacy-accuracy tradeoffs.