Balancing Privacy-Quality-Efficiency in Federated Learning through Round-Based Interleaving of Protection Techniques

📄 arXiv: 2603.05158v1 📥 PDF

作者: Yenan Wang, Carla Fabiana Chiasserini, Elad Michael Schiller

分类: cs.LG

发布日期: 2026-03-05

💡 一句话要点

提出Alt-FL框架，通过轮次交织隐私技术平衡联邦学习中的隐私、质量和效率

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 联邦学习 隐私保护 差分隐私 同态加密 合成数据 模型攻击 隐私交织

📋 核心要点

  1. 联邦学习在保护用户隐私的同时面临学习质量和效率的挑战，现有隐私保护方法如DP和HE存在质量下降或开销过大的问题。
  2. Alt-FL框架通过轮次交织DP、HE和合成数据，在隐私保护、学习质量和效率之间寻求平衡，并提出了三种新的交织方法。
  3. 实验结果表明，PI方法在高隐私保护级别下实现了最佳的权衡，而DP方法在中间隐私级别下更优，为隐私保护FL方法选择提供了依据。

📝 摘要（中文）

在联邦学习(FL)中，平衡隐私保护、学习质量和效率仍然是一个挑战。差分隐私(DP)等隐私保护机制会降低学习质量，而同态加密(HE)则会产生巨大的系统开销。为了解决这个问题，我们提出了一种名为Alt-FL的隐私保护FL框架，该框架通过一种新颖的基于轮次的交织策略，结合了DP、HE和合成数据。Alt-FL引入了三种新方法，即隐私交织(PI)、带DP的合成交织(SI/DP)和带HE的合成交织(SI/HE)，这些方法能够在提供隐私保护的同时，实现灵活的质量-效率权衡。我们使用LeNet-5模型在CIFAR-10和Fashion-MNIST上，针对具有代表性的重建攻击（包括Deep Leakage from Gradients、Inverting Gradients、When the Curious Abandon Honesty和Robbing the Fed）系统地评估了Alt-FL。为了实现DP和基于HE的防御之间的公平比较，我们引入了一个新的以攻击者为中心的框架，该框架比较了三种提出的交织方法中的经验攻击成功率。我们的结果表明，对于所研究的攻击者模型和数据集，PI在高隐私保护级别下实现了最平衡的权衡，而基于DP的方法在中间隐私要求下更可取。我们还讨论了如何在不同的隐私和资源约束下，将这些结果作为选择隐私保护FL方法的基础。

🔬 方法详解

问题定义：联邦学习需要在保护用户隐私的同时，保证模型训练的质量和效率。现有的隐私保护方法，例如差分隐私(DP)和同态加密(HE)，各有优缺点。DP虽然能提供较强的隐私保护，但会降低模型的准确性。HE虽然能保证模型准确性，但计算开销非常大，导致训练效率低下。因此，如何在隐私保护、模型质量和训练效率之间取得平衡是一个关键问题。

核心思路：Alt-FL的核心思路是通过轮次交织不同的隐私保护技术（DP、HE和合成数据），从而在不同的训练轮次中采用不同的保护策略。这种交织策略允许根据隐私需求和资源限制动态调整保护强度，从而在隐私保护、模型质量和训练效率之间找到最佳平衡点。通过交替使用不同的保护方法，可以缓解单一方法的缺点，例如DP的精度损失和HE的计算开销。

技术框架：Alt-FL框架包含三个主要模块：隐私交织(PI)、带DP的合成交织(SI/DP)和带HE的合成交织(SI/HE)。PI模块在不同的训练轮次中交替使用DP和HE。SI/DP模块在某些轮次中使用DP保护的合成数据来训练模型，而在其他轮次中使用真实数据。SI/HE模块则在某些轮次中使用HE加密的合成数据来训练模型，而在其他轮次中使用真实数据。整体流程包括客户端本地训练、隐私保护处理、服务器聚合和模型更新。

关键创新：Alt-FL的关键创新在于其轮次交织的隐私保护策略。与传统的单一隐私保护方法不同，Alt-FL能够根据不同的隐私需求和资源限制，灵活地选择不同的保护方法。这种交织策略能够更好地平衡隐私保护、模型质量和训练效率。此外，论文还提出了一个新的以攻击者为中心的评估框架，用于公平地比较不同隐私保护方法的性能。

关键设计：Alt-FL的关键设计包括：1) 轮次交织策略的具体实现，例如如何确定每个轮次使用的隐私保护方法；2) 合成数据的生成方法，需要保证合成数据能够代表真实数据，同时不泄露隐私；3) DP的参数设置，例如隐私预算ε的选择，需要在隐私保护和模型准确性之间进行权衡；4) HE方案的选择，需要在计算开销和安全性之间进行权衡。

📊 实验亮点

实验结果表明，Alt-FL框架能够有效地平衡隐私保护、模型质量和训练效率。在高隐私保护级别下，PI方法实现了最佳的权衡，而在中间隐私级别下，DP方法更优。通过与现有攻击方法的对比，证明了Alt-FL框架的有效性。此外，论文提出的以攻击者为中心的评估框架，为公平地比较不同隐私保护方法的性能提供了新的思路。

🎯 应用场景

Alt-FL框架可应用于各种需要隐私保护的联邦学习场景，例如医疗健康、金融服务和智能交通等。在医疗健康领域，可以利用Alt-FL在保护患者隐私的前提下，训练疾病诊断模型。在金融服务领域，可以利用Alt-FL在保护用户交易数据隐私的前提下，进行信用风险评估。在智能交通领域，可以利用Alt-FL在保护车辆行驶数据隐私的前提下，优化交通流量控制。该研究有助于推动联邦学习在隐私敏感领域的应用。

📄 摘要（原文）

In federated learning (FL), balancing privacy protection, learning quality, and efficiency remains a challenge. Privacy protection mechanisms, such as Differential Privacy (DP), degrade learning quality, or, as in the case of Homomorphic Encryption (HE), incur substantial system overhead. To address this, we propose Alt-FL, a privacy-preserving FL framework that combines DP, HE, and synthetic data via a novel round-based interleaving strategy. Alt-FL introduces three new methods, Privacy Interleaving (PI), Synthetic Interleaving with DP (SI/DP), and Synthetic Interleaving with HE (SI/HE), that enable flexible quality-efficiency trade-offs while providing privacy protection. We systematically evaluate Alt-FL against representative reconstruction attacks, including Deep Leakage from Gradients, Inverting Gradients, When the Curious Abandon Honesty, and Robbing the Fed, using a LeNet-5 model on CIFAR-10 and Fashion-MNIST. To enable fair comparison between DP- and HE-based defenses, we introduce a new attacker-centric framework that compares empirical attack success rates across the three proposed interleaving methods. Our results show that, for the studied attacker model and dataset, PI achieves the most balanced trade-offs at high privacy protection levels, while DP-based methods are preferable at intermediate privacy requirements. We also discuss how such results can be the basis for selecting privacy-preserving FL methods under varying privacy and resource constraints.