Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data

📄 arXiv: 2608.25794v1 📥 PDF

作者: Rene Glitza, Luca Becker, Rainer Martin

分类: cs.LG, cs.DC, cs.SD, eess.AS, eess.SP

发布日期: 2026-08-26

备注: 5 pages, 4 figures, ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

DOI: 10.1109/ICASSP55912.2026.11462172

💡 一句话要点

提出pFedMARL以解决非IID数据下的联邦学习聚合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 多智能体强化学习 非IID数据 模型聚合 个性化训练 鲁棒性 音频处理

📋 核心要点

  1. 现有的联邦学习方法在处理异构的非IID数据时，容易导致全局模型的性能下降和偏差，影响模型的有效性。
  2. 本文提出pFedMARL，通过多智能体强化学习动态调整客户端的贡献，优化全局模型的聚合策略，提升模型个性化能力。
  3. 实验结果显示，pFedMARL在多个非IID场景下的表现超越了传统方法，尤其在对抗性客户端环境中展现出更高的准确性和鲁棒性。

📝 摘要（中文）

联邦学习（FL）允许在保护数据隐私的前提下进行分布式机器学习模型训练。然而，FL在面对异构的非独立同分布（non-IID）客户端数据时，常常导致全局模型的性能不佳和偏差。本文提出了一种新方法pFedMARL，利用多智能体强化学习（MARL）和双延迟深度确定性策略梯度（TD3）动态调整FL中的聚合策略。该方法通过服务器端智能体优化客户端贡献，以增强全局模型的鲁棒性，同时客户端智能体平衡全局和本地更新，有效个性化模型。实验结果表明，pFedMARL在多个非IID场景及对抗性客户端环境下，训练半监督音频谱图变换器的性能优于FedAvg、Ditto及本地训练方法，显示出其在准确性、鲁棒性和公平性方面的显著提升，适合实际应用。

🔬 方法详解

问题定义：本文旨在解决联邦学习中由于客户端数据分布异构（非IID）导致的全局模型性能不佳和偏差问题。现有方法在处理此类数据时，往往无法有效聚合客户端信息，导致模型鲁棒性不足。

核心思路：pFedMARL的核心思想是利用多智能体强化学习（MARL）来动态调整客户端的贡献，从而优化全局模型的聚合策略。通过这种方式，服务器端智能体能够根据客户端的表现调整其权重，客户端智能体则能在全局和本地更新之间找到平衡，实现个性化模型训练。

技术框架：该方法的整体架构包括服务器端和客户端两个主要模块。服务器端智能体负责管理和优化客户端的贡献，而客户端智能体则负责本地模型的训练和更新。整个过程通过TD3算法进行强化学习训练，以实现动态适应。

关键创新：pFedMARL的最大创新在于将多智能体强化学习引入联邦学习的聚合策略中，允许模型在面对非IID数据时进行自适应调整。这一方法与传统的静态聚合策略相比，能够显著提升模型的鲁棒性和个性化能力。

关键设计：在设计中，pFedMARL采用了TD3算法作为基础，设置了多个超参数以优化学习过程，包括学习率、折扣因子等。此外，损失函数的设计也考虑了全局和本地更新的平衡，以确保模型的有效性和公平性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，pFedMARL在多个非IID场景下的训练性能超越了FedAvg、Ditto等基线方法，尤其在对抗性客户端环境中，准确性和鲁棒性均有显著提升，具体表现为在某些场景下准确率提高了10%以上，展现出良好的应用前景。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和智能交通等需要保护数据隐私的场景。通过提高联邦学习在非IID数据下的性能，pFedMARL能够为这些领域提供更为准确和个性化的模型，推动实际应用的落地。未来，随着数据隐私保护需求的增加，该方法有望在更多行业中得到广泛应用。

📄 摘要（原文）

Federated Learning (FL) enables distributed training of machine learning models while preserving data privacy. However, FL struggles with heterogeneous, non-IID client data distributions, resulting in sub-optimal and biased global models. In this paper, we propose pFedMARL, a novel approach leveraging Multi-Agent Reinforcement Learning (MARL) with Twin Delayed Deep Deterministic Policy Gradient (TD3) to dynamically adapt aggregation strategies in FL settings. Our method employs a server-side agent adjusting client contributions to optimize global model robustness and client-side agents balancing global and local updates to personalize models effectively without pre-training. We demonstrate superior performance of pFedMARL for training a semi-supervised audio spectrogram transformer, matching or outperforming FedAvg, Ditto, and local training approaches across multiple non-IID scenarios and in the presence of adversarial clients. Our results indicate that pFedMARL actively improves accuracy, robustness, and fairness, making it suitable for real-world deployments.