FedReLa: Imbalanced Federated Learning via Re-Labeling
作者: Guangzheng Hu, Patricia Menéndez, Feng Liu, Mingming Gong, Guanghui Wang, Liuhua Peng
分类: stat.ML, cs.CV, cs.LG
发布日期: 2026-06-24
💡 一句话要点
提出FedReLa以解决联邦学习中的类别不平衡问题
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 联邦学习 类别不平衡 数据异质性 模型训练 标签重新分配
📋 核心要点
- 现有的联邦学习方法在处理全球类别不平衡和数据异质性时面临显著挑战，导致聚合模型性能下降。
- FedReLa通过特征依赖的标签重新分配器对样本进行重新标记，修正全球决策边界，解决了类别不平衡问题。
- 实验结果表明，FedReLa在少数类准确性和整体准确性上显著优于现有方法，尤其在长尾数据集上表现突出。
📝 摘要（中文）
联邦学习作为一种保护隐私的去中心化模型训练方法，面临全球类别不平衡和跨客户端数据异质性共存的问题。局部与全球不平衡的错配加剧了聚合模型的性能下降。本文提出FedReLa，一种新颖的数据级方法，通过特征依赖的标签重新分配器对样本进行重新标记，修正偏差的全球决策边界，而无需了解全球类别分布。该模块化、模型无关的方法可与算法方法结合，提供一致的改进而无需额外的通信开销。通过广泛的实验，我们的方法显著提高了少数类的准确性以及在逐步不平衡和长尾数据集上的整体准确性，超越了之前的最先进技术。
🔬 方法详解
问题定义：本文旨在解决联邦学习中由于全球类别不平衡和跨客户端数据异质性导致的模型性能下降问题。现有方法在极端情况下，尤其是某些类别在客户端缺失时，难以有效处理这些问题。
核心思路：FedReLa的核心思想是通过特征依赖的标签重新分配器对样本进行重新标记，从而修正偏差的全球决策边界，而不需要了解全球类别分布。这种设计使得方法在数据层面上更具灵活性和适应性。
技术框架：FedReLa的整体架构包括数据预处理、标签重新分配和模型训练三个主要模块。首先，对数据进行特征提取，然后根据特征对标签进行重新分配，最后在联邦学习框架下进行模型训练。
关键创新：FedReLa的主要创新在于其模块化和模型无关的特性，使其能够与现有算法结合使用，且不增加通信开销。这一创新使得方法在处理类别不平衡时更为高效。
关键设计：在设计中，FedReLa采用了特征依赖的标签重新分配器，确保了标签的准确性和有效性。此外，损失函数的设计也考虑了类别不平衡的影响，以提升少数类的识别能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FedReLa在逐步不平衡和长尾数据集上，少数类的准确性提升了显著，整体准确性也有明显改善，超越了之前的最先进技术，展示了其在处理类别不平衡问题上的有效性。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、金融欺诈检测和社交网络分析等，这些领域通常面临数据不平衡和隐私保护的挑战。FedReLa的提出为这些应用提供了更有效的模型训练方案，具有重要的实际价值和未来影响。
📄 摘要（原文）
Federated learning has emerged as the foremost approach for decentralized model training with privacy preservation. The global class imbalance and cross-client data heterogeneity naturally coexist, and the mismatch between local and global imbalances exacerbates the performance degradation of the aggregated model. The agnosticism of global class distribution poses significant challenges for data-level methods, especially under extreme conditions with severe class absence across clients. In this paper, we propose FedReLa, a novel data-level approach that tackles the coexistence of data heterogeneity and class imbalance in federated learning. By re-labeling samples with a feature-dependent label re-allocator, FedReLa corrects biased global decision boundaries without requiring knowledge of the global class distribution. This modular, model-agnostic approach can be integrated with algorithmic methods to deliver consistent improvements without additional communication overhead. Through extensive experiments, our method significantly improves the accuracy of minority classes and the overall accuracy on stepwise-imbalanced and long-tailed datasets, outperforming the previous state of the art.