Privacy-preserving Fine-tuning of Large Language Models through Flatness

📄 arXiv: 2403.04124v1 📥 PDF

作者: Tiejin Chen, Longchao Da, Huixue Zhou, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

分类: cs.AI

发布日期: 2024-03-07

备注: Accepted to ICLR 2024 SeT LLM Workshop

💡 一句话要点

提出一种通过平坦性保护隐私的语言模型微调方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 大型语言模型 模型微调 平坦性优化 知识蒸馏 自然语言处理 隐私保护

📋 核心要点

  1. 现有的差分隐私技术在保护隐私的同时，往往导致模型的泛化能力显著下降，形成了隐私与性能之间的矛盾。
  2. 本文提出了一种新的框架，通过优化模型权重的平坦性来改善泛化能力，同时保持隐私保护，解决了现有方法的不足。
  3. 在QNLI文本分类数据集上，DP-Flat在隐私预算ε=3的情况下，达到了与非私有全微调相似的性能，且在更高隐私预算下表现更佳。

📝 摘要（中文）

随着大型语言模型（LLMs）如ChatGPT的发展，隐私问题日益受到关注。现有的差分隐私（DP）技术虽然能够降低隐私风险，但往往会导致模型泛化能力下降。本文揭示了DP训练模型损失景观的平坦性在隐私与泛化之间的权衡中起着重要作用。我们提出了一种整体框架，通过适当的权重平坦性来显著提高模型的泛化能力，同时保持竞争性的隐私保护。该框架从三个粗到细的层面进行创新，包括对层内模型权重的扰动感知最小-最大优化、跨层权重的平坦性引导稀疏前缀微调，以及DP与非DP权重副本之间的权重知识蒸馏。通过黑箱和白箱场景的全面实验，验证了我们方法在增强泛化和维持DP特性方面的有效性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在应用差分隐私技术时，泛化能力下降的问题。现有方法在保护隐私的同时，往往无法兼顾模型的性能，导致实际应用受限。

核心思路：我们提出通过优化模型权重的平坦性来改善泛化能力，平坦性在隐私与泛化之间的权衡中起着关键作用。通过这一设计，可以在保持隐私保护的同时，提升模型的性能。

技术框架：整体框架包括三个主要模块：1) 层内权重的扰动感知最小-最大优化；2) 跨层的平坦性引导稀疏前缀微调；3) DP与非DP权重副本之间的知识蒸馏。这些模块协同工作，以实现更好的隐私保护和泛化能力。

关键创新：本文的主要创新在于提出了通过平坦性优化来平衡隐私与泛化的策略，与传统的差分隐私方法相比，能够在不牺牲性能的情况下实现隐私保护。

关键设计：在模型训练过程中，我们设计了特定的损失函数来引导权重的平坦性，并通过稀疏前缀微调来减少不必要的参数更新，从而提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在QNLI文本分类数据集上，DP-Flat在隐私预算ε=3的情况下，达到了与非私有全微调相似的性能，且在更高隐私预算下表现更佳，显示出显著的泛化能力提升。实验结果表明，该方法在黑箱和白箱场景中均有效，验证了其实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和隐私保护的机器学习应用。通过提高大型语言模型的隐私保护能力，同时保持其性能，能够在医疗、金融等对隐私要求较高的领域中发挥重要作用，推动相关技术的实际应用和发展。

📄 摘要（原文）

The privacy concerns associated with the use of Large Language Models (LLMs) have grown recently with the development of LLMs such as ChatGPT. Differential Privacy (DP) techniques are explored in existing work to mitigate their privacy risks at the cost of generalization degradation. Our paper reveals that the flatness of DP-trained models' loss landscape plays an essential role in the trade-off between their privacy and generalization. We further propose a holistic framework to enforce appropriate weight flatness, which substantially improves model generalization with competitive privacy preservation. It innovates from three coarse-to-grained levels, including perturbation-aware min-max optimization on model weights within a layer, flatness-guided sparse prefix-tuning on weights across layers, and weight knowledge distillation between DP \& non-DP weights copies. Comprehensive experiments of both black-box and white-box scenarios are conducted to demonstrate the effectiveness of our proposal in enhancing generalization and maintaining DP characteristics. For instance, on text classification dataset QNLI, DP-Flat achieves similar performance with non-private full fine-tuning but with DP guarantee under privacy budget $ε=3$, and even better performance given higher privacy budgets. Codes are provided in the supplement.