AGRAMPLIFIER: Defending Federated Learning Against Poisoning Attacks Through Local Update Amplification

📄 arXiv: 2311.06996v2 📥 PDF

作者: Zirui Gong, Liyue Shen, Yanjun Zhang, Leo Yu Zhang, Jingwei Wang, Guangdong Bai, Yong Xiang

分类: cs.CR, cs.AI

发布日期: 2023-11-13 (更新: 2023-11-23)

备注: Accepted by IEEE TIFS, this is the complete version

DOI: 10.1109/TIFS.2023.3333555

💡 一句话要点

提出AGAMPLIFIER以解决联邦学习中的中毒攻击问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 联邦学习 拜占庭攻击 鲁棒性 聚合规则 特征提取 可解释AI 数据隐私

📋 核心要点

  1. 核心问题：现有的拜占庭鲁棒聚合规则在处理本地更新时，难以有效区分恶意和良性更新，导致模型鲁棒性不足。
  2. 方法要点：AGAMPLIFIER通过放大本地更新的“道德性”，利用AGRMP和AGRXAI两种方法提取最具压制性的特征，从而提高检测效果。
  3. 实验或效果：在七个不同领域的数据集上进行的广泛评估显示，AGAMPLIFIER在鲁棒性、保真性和效率上分别提升了40.08%、39.18%和10.68%。

📝 摘要（中文）

联邦学习的协作特性使其面临本地训练数据和更新被操控的威胁，即拜占庭中毒攻击。为此，许多拜占庭鲁棒聚合规则（AGRs）被提出以过滤或调节可疑的本地更新。本文提出了一种新方法AGAMPLIFIER，旨在同时提高现有AGRs的鲁棒性、保真性和效率。AGAMPLIFIER的核心思想是通过识别每个梯度更新中最具压制性的特征来放大本地更新的“道德性”，从而更清晰地区分恶意和良性更新，改善检测效果。通过将AGAMPLIFIER与现有的拜占庭鲁棒机制结合，成功增强了模型的鲁棒性，同时保持其保真性并提高整体效率。

🔬 方法详解

问题定义：本文旨在解决联邦学习中的拜占庭中毒攻击问题。现有的聚合规则在面对恶意更新时，往往无法有效过滤，导致模型性能下降。

核心思路：AGAMPLIFIER的核心思路是通过识别和放大本地更新的“道德性”，即提取每个更新中最具压制性的特征，从而更清晰地区分恶意和良性更新。这样的设计可以提高对可疑更新的检测能力。

技术框架：AGAMPLIFIER包含两个主要模块：AGRMP和AGRXAI。AGRMP将本地更新组织成补丁，并从每个补丁中提取最大值；AGRXAI则利用可解释的AI方法提取激活特征的梯度。整体流程是将这两个模块与现有的拜占庭鲁棒机制结合使用。

关键创新：AGAMPLIFIER的创新在于其通过特征压制性放大本地更新的“道德性”，与传统方法相比，提供了更有效的恶意更新检测机制。

关键设计：在参数设置上，AGAMPLIFIER对补丁大小和特征提取方法进行了优化，确保在不同数据集上均能保持高效的性能。损失函数和网络结构的设计也经过精心调整，以适应不同的攻击场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AGAMPLIFIER在七个数据集上与七种代表性的中毒攻击进行对比，鲁棒性、保真性和效率分别提升了40.08%、39.18%和10.68%。这些结果表明AGAMPLIFIER在应对拜占庭攻击方面的显著优势，验证了其有效性。

🎯 应用场景

AGAMPLIFIER的研究成果在多个领域具有广泛的应用潜力，尤其是在需要保护数据隐私的场景中，如医疗、金融和智能设备等。通过提高联邦学习的鲁棒性，该方法能够有效防止数据操控，确保模型的可靠性和安全性，未来可能推动更多安全的分布式学习系统的开发。

📄 摘要（原文）

The collaborative nature of federated learning (FL) poses a major threat in the form of manipulation of local training data and local updates, known as the Byzantine poisoning attack. To address this issue, many Byzantine-robust aggregation rules (AGRs) have been proposed to filter out or moderate suspicious local updates uploaded by Byzantine participants. This paper introduces a novel approach called AGRAMPLIFIER, aiming to simultaneously improve the robustness, fidelity, and efficiency of the existing AGRs. The core idea of AGRAMPLIFIER is to amplify the "morality" of local updates by identifying the most repressive features of each gradient update, which provides a clearer distinction between malicious and benign updates, consequently improving the detection effect. To achieve this objective, two approaches, namely AGRMP and AGRXAI, are proposed. AGRMP organizes local updates into patches and extracts the largest value from each patch, while AGRXAI leverages explainable AI methods to extract the gradient of the most activated features. By equipping AGRAMPLIFIER with the existing Byzantine-robust mechanisms, we successfully enhance the model's robustness, maintaining its fidelity and improving overall efficiency. AGRAMPLIFIER is universally compatible with the existing Byzantine-robust mechanisms. The paper demonstrates its effectiveness by integrating it with all mainstream AGR mechanisms. Extensive evaluations conducted on seven datasets from diverse domains against seven representative poisoning attacks consistently show enhancements in robustness, fidelity, and efficiency, with average gains of 40.08%, 39.18%, and 10.68%, respectively.