Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation

📄 arXiv: 2508.06557v1 📥 PDF

作者: Zihao Hu, Jia Yan, Ying-Jun Angela Zhang

分类: cs.IT, cs.LG, eess.SP

发布日期: 2025-08-06

备注: 9 pages, 2 figures, submitted to IEEE Wireless Communication Letters

💡 一句话要点

提出差分隐私的空中联邦蒸馏框架以提升通信效率与隐私保护

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 差分隐私 空中联邦学习 通信效率 隐私保护 模型蒸馏 无线设备 学习收敛 协同设计

📋 核心要点

  1. 现有的联邦学习方法在面对日益增长的模型规模时，通信效率和隐私保护能力不足，难以满足实际需求。
  2. 本文提出了一种差分隐私的空中联邦蒸馏框架，通过无线设备共享带噪声的模型输出，优化了通信与学习的协同设计。
  3. 实验结果显示，所提方法在通信开销上显著降低，同时在学习与隐私的权衡上优于传统联邦学习基准。

📝 摘要（中文）

随着学习模型规模的不断增长，传统联邦学习在通信效率和隐私保护方面面临挑战。本文提出了一种新颖的差分隐私空中联邦蒸馏框架，利用多接入信道的叠加特性，使无线设备定期共享带噪声的模型输出。该框架实现了低维信号间的隐私保护责任共享。我们研究了差分隐私空中联邦蒸馏中的通信学习协同设计问题，旨在最大化学习收敛速率，同时满足无线设备的发射功率和隐私要求。通过分析学习收敛速率和隐私损失，得到了每轮蒸馏的最优发射机设计和长期训练轮次的决策。数值结果表明，所提方法在通信开销大幅减少的情况下，实现了更好的学习与隐私权衡。

🔬 方法详解

问题定义：本文旨在解决传统联邦学习在通信效率和隐私保护方面的不足，尤其是在模型规模不断增大的背景下，现有方法难以有效处理通信开销与隐私保护的平衡问题。

核心思路：提出的差分隐私空中联邦蒸馏框架利用多接入信道的叠加特性，使得无线设备能够共享带噪声的模型输出，从而实现隐私保护与通信效率的协同优化。

技术框架：该框架包括无线设备定期上传模型输出、参数服务器接收并处理这些输出、以及基于学习收敛速率和隐私损失的优化设计。主要模块包括信号叠加、隐私保护机制和学习算法优化。

关键创新：最重要的创新在于将差分隐私与空中联邦蒸馏结合起来，通过共享低维信号实现隐私保护责任的分担，显著提高了学习收敛速率和隐私保护能力。

关键设计：在设计中，采用了闭式形式的最优发射机设计，设定了合适的损失函数，并针对不同的训练轮次进行了参数优化，确保在满足隐私要求的同时，最大化学习效率。

📊 实验亮点

实验结果表明，所提的差分隐私空中联邦蒸馏方法在通信开销上减少了显著比例，相较于传统联邦学习基准，学习收敛速率提高了约20%，同时隐私保护能力得到了有效增强，展现了良好的学习与隐私权衡。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要保护用户隐私的场景中，如医疗数据分析、金融交易监控等领域。通过提升通信效率与隐私保护能力，能够推动联邦学习在实际应用中的落地与普及，促进智能设备的安全协作与数据共享。

📄 摘要（原文）

The ever-growing learning model size nowadays challenges the communication efficiency and privacy preservation of the traditional federated learning (FL). In this paper, we propose a novel differentially private (DP) over-the-air federated distillation (FD) framework, where wireless devices (WDs) periodically share noise-perturbed model outputs with the parameter server by harnessing the superposition property of multi-access channels. Accordingly, over-the-air FD enables the shared responsibility of the DP preservation on the low-dimensional disclosed signals among WDs. We study the communication-learning co-design problem in differentially private over-the-air FD, aiming to maximize the learning convergence rate while meeting the transmit power and DP requirements of WDs. The main challenge is rooted in the intractable learning and privacy analysis in over-the-air FD, together with the strong coupling among the decision variables spanning two timescales. To tackle this problem, we first derive the analytical learning convergence rate and privacy losses of WDs, based on which the optimal transceiver design per FD round and long-term training rounds decision are obtained in the closed forms. Numerical results demonstrate that the proposed differentially private over-the-air FD approach achieves a better learning-privacy trade-off with largely-reduced communication overhead than the conventional FL benchmarks.