FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning

📄 arXiv: 2401.03230v1 📥 PDF

作者: Jianqing Zhang, Yang Liu, Yang Hua, Jian Cao

分类: cs.LG, cs.CR, cs.DC

发布日期: 2024-01-06

备注: Accepted by AAAI2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出FedTGP以解决异构联邦学习中的原型聚合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异构联邦学习 对比学习 原型聚合 模型隐私 通信效率 深度学习 机器学习

📋 核心要点

  1. 现有的基于原型的异构联邦学习方法在服务器上简单聚合原型，导致全球知识次优，影响客户端性能。
  2. 本文提出FedTGP，通过自适应边距增强对比学习（ACL）在服务器上学习可训练的全球原型，提升原型的可分离性。
  3. 实验结果显示，FedTGP在准确率上比最先进的方法提高了9.08%，同时保持了通信和隐私的优势。

📝 摘要（中文）

近年来，异构联邦学习（HtFL）因其支持异构模型和数据而受到关注。为降低传输模型参数的高通信成本，提出了基于原型的HtFL方法，仅在异构客户端之间共享类代表（即原型），同时保持客户端模型的隐私。然而，这些原型在服务器上通过加权平均的方式简单聚合，导致全球知识的次优，从而影响客户端性能。为解决这一问题，本文提出了一种新颖的HtFL方法FedTGP，利用自适应边距增强对比学习（ACL）在服务器上学习可训练的全球原型（TGP）。通过引入ACL，我们的方法增强了原型的可分离性，同时保留了语义意义。大量实验表明，FedTGP在准确率上比现有最先进方法提高了9.08%，同时保持了基于原型的HtFL的通信和隐私优势。

🔬 方法详解

问题定义：本文旨在解决异构联邦学习中原型聚合导致的全球知识次优问题。现有方法通过简单的加权平均聚合原型，未能有效利用各客户端的知识，影响了性能。

核心思路：FedTGP的核心思想是通过自适应边距增强对比学习（ACL）来学习可训练的全球原型（TGP），以增强原型之间的可分离性，同时保持其语义信息。这样的设计使得模型能够更好地适应异构数据和模型的特性。

技术框架：FedTGP的整体架构包括客户端和服务器两个主要部分。客户端负责生成原型并通过ACL进行训练，而服务器则聚合这些原型并更新可训练的全球原型。整个过程通过多轮迭代进行，确保模型的持续优化。

关键创新：本文的主要创新在于引入自适应边距增强对比学习，使得原型的学习过程更加灵活和有效。这一方法与传统的简单加权平均聚合方法有本质区别，能够更好地捕捉到各类数据的特征。

关键设计：在技术细节上，FedTGP设计了特定的损失函数以优化原型的可分离性，并在网络结构上采用了适应性调整的策略，以适应不同客户端的异构性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedTGP在准确率上比现有最先进的方法提高了9.08%。此外，该方法在保持通信效率和客户端隐私的同时，显著提升了模型性能，展示了其在异构联邦学习中的优势。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和智能制造等需要保护数据隐私的场景。在这些领域，FedTGP能够有效地支持异构设备之间的协作学习，提升模型的准确性和鲁棒性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recently, Heterogeneous Federated Learning (HtFL) has attracted attention due to its ability to support heterogeneous models and data. To reduce the high communication cost of transmitting model parameters, a major challenge in HtFL, prototype-based HtFL methods are proposed to solely share class representatives, a.k.a, prototypes, among heterogeneous clients while maintaining the privacy of clients' models. However, these prototypes are naively aggregated into global prototypes on the server using weighted averaging, resulting in suboptimal global knowledge which negatively impacts the performance of clients. To overcome this challenge, we introduce a novel HtFL approach called FedTGP, which leverages our Adaptive-margin-enhanced Contrastive Learning (ACL) to learn Trainable Global Prototypes (TGP) on the server. By incorporating ACL, our approach enhances prototype separability while preserving semantic meaning. Extensive experiments with twelve heterogeneous models demonstrate that our FedTGP surpasses state-of-the-art methods by up to 9.08% in accuracy while maintaining the communication and privacy advantages of prototype-based HtFL. Our code is available at https://github.com/TsingZ0/FedTGP.