Pre-training Differentially Private Models with Limited Public Data

📄 arXiv: 2402.18752v2 📥 PDF

作者: Zhiqi Bu, Xinwei Zhang, Mingyi Hong, Sheng Zha, George Karypis

分类: cs.LG, cs.CR

发布日期: 2024-02-28 (更新: 2024-10-29)

备注: Accepted at NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于有限公共数据的差分隐私模型预训练方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 模型预训练 公共数据 深度学习 隐私保护

📋 核心要点

  1. 现有差分隐私方法在预训练阶段应用时，性能下降严重，无法有效保护大量初始数据。
  2. 论文提出了一种新的DP持续预训练策略，通过利用有限的公共数据来减轻DP优化器的性能下降。
  3. 实验结果显示，该方法在多个数据集上取得了显著的准确率提升，超越了现有的DP预训练模型。

📝 摘要（中文）

大型基础模型的优越性能依赖于大量高质量数据，但这些数据往往包含敏感和受版权保护的材料，需进行保护。差分隐私（DP）是评估模型安全性的重要方法，但其应用通常局限于模型微调阶段，因在预训练阶段应用DP会导致性能下降。本文首先通过分析每次迭代的损失改善提供了DP训练的理论理解，并观察到使用有限公共数据可以显著减轻DP优化器的性能下降，从而提出了一种新的DP持续预训练策略。实验表明，仅使用10%的公共数据，该策略在ImageNet-21k上实现了41.5%的DP准确率，在下游任务Places365和iNaturalist-2021上分别达到了55.7%和60.0%的非DP准确率，表现优于现有的DP预训练模型。

🔬 方法详解

问题定义：本论文旨在解决差分隐私（DP）在模型预训练阶段应用时导致的性能下降问题。现有方法在预训练阶段无法有效保护数据，限制了DP的应用范围。

核心思路：论文提出通过引入有限的公共数据来缓解DP优化器的性能下降，从而实现有效的DP预训练。该方法的核心在于利用公共数据的优势，增强模型的学习能力。

技术框架：整体架构包括预训练阶段和微调阶段。在预训练阶段，模型使用有限的公共数据进行DP训练；在微调阶段，模型则在特定任务上进行优化。

关键创新：最重要的创新点在于提出了DP持续预训练策略，利用有限公共数据显著提升了DP模型的性能，与传统方法相比，能够在保护隐私的同时保持较高的准确率。

关键设计：在参数设置上，使用了10%的公共数据进行训练，损失函数采用了适应DP的优化策略，网络结构则基于现有的深度学习框架进行调整，以适应DP训练的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用仅10%的公共数据，该方法在ImageNet-21k上实现了41.5%的DP准确率，同时在Places365和iNaturalist-2021上分别达到了55.7%和60.0%的非DP准确率，显著优于现有的DP预训练模型，展示了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和社交网络等需要保护用户隐私的场景。通过有效的差分隐私预训练方法，可以在保证数据安全的同时，提升模型的性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

The superior performance of large foundation models relies on the use of massive amounts of high-quality data, which often contain sensitive, private and copyrighted material that requires formal protection. While differential privacy (DP) is a prominent method to gauge the degree of security provided to the models, its application is commonly limited to the model fine-tuning stage, due to the performance degradation when applying DP during the pre-training stage. Consequently, DP is yet not capable of protecting a substantial portion of the data used during the initial pre-training process. In this work, we first provide a theoretical understanding of the efficacy of DP training by analyzing the per-iteration loss improvement. We make a key observation that DP optimizers' performance degradation can be significantly mitigated by the use of limited public data, which leads to a novel DP continual pre-training strategy. Empirically, using only 10\% of public data, our strategy can achieve DP accuracy of 41.5\% on ImageNet-21k (with $ε=8$), as well as non-DP accuracy of 55.7\% and and 60.0\% on downstream tasks Places365 and iNaturalist-2021, respectively, on par with state-of-the-art standard pre-training and substantially outperforming existing DP pre-trained models. Our DP pre-trained models are released in fastDP library (https://github.com/awslabs/fast-differential-privacy/releases/tag/v2.1)