Differentially Private Next-Token Prediction of Large Language Models

📄 arXiv: 2403.15638v3 📥 PDF

作者: James Flemings, Meisam Razaviyayn, Murali Annavaram

分类: cs.CR, cs.CL, cs.LG

发布日期: 2024-03-22 (更新: 2024-04-26)

💡 一句话要点

提出PMixED以解决大语言模型的隐私保护问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 大型语言模型 私有预测 模型无关 随机采样

📋 核心要点

  1. 现有的DP-SGD方法高估了对手的能力，导致训练时间和内存消耗增加。
  2. PMixED利用下一个标记采样的随机性和公共模型，提供了一种新的私有预测协议。
  3. 实验结果显示，PMixED在隐私保证和生成效用上均优于DP-SGD，具有更好的实用性。

📝 摘要（中文）

确保大型语言模型（LLMs）的隐私变得越来越重要。当前最广泛采用的技术是DP-SGD，它通过训练模型来保证差分隐私（DP）。然而，DP-SGD高估了对手在白盒访问模型时的能力，导致训练时间更长和内存使用更大。针对这一问题，本文提出了私有混合集成分布（PMixED）：一种用于下一个标记预测的私有预测协议，利用下一个标记采样的固有随机性和公共模型来实现差分隐私。我们通过引入RD-mollifers来形式化这一过程，将模型的输出分布从一组微调的LLMs投影到公共LLM的输出分布周围的集合上，然后对投影分布进行平均并从中采样。与DP-SGD不同，PMixED不需要在训练过程中考虑模型架构，使其成为当前部署的一个非常有吸引力的解决方案。实验结果表明，PMixED在大型数据集上实现了比样本级隐私更强的隐私保证，并在隐私ε=8的情况下优于DP-SGD。因此，PMixED为在不妥协隐私的情况下实现强生成效用提供了一个实用的替代方案。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在训练过程中隐私保护的不足，现有的DP-SGD方法由于高估对手能力，导致训练效率低下和资源浪费。

核心思路：PMixED通过结合公共模型和随机采样的特性，提供了一种模型无关的私有预测协议，避免了DP-SGD对模型架构的依赖。

技术框架：PMixED的整体架构包括RD-mollifers模块，该模块将多个微调的LLMs的输出分布投影到公共LLM的输出分布周围，然后对这些投影分布进行平均并进行采样。

关键创新：PMixED的主要创新在于其模型无关性和利用公共模型的能力，使其在隐私保护上具有更强的保证，同时提高了训练效率。

关键设计：PMixED的设计中，RD-mollifers的具体实现和投影过程是关键，确保了输出分布的有效性和隐私保护的强度。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，PMixED在大型数据集上实现了比样本级隐私更强的隐私保证，并在隐私ε=8的情况下，性能优于DP-SGD，显示出显著的提升幅度。这一结果证明了PMixED在隐私保护和生成效用上的有效性。

🎯 应用场景

该研究的潜在应用领域包括云端大型语言模型的部署和服务，尤其是在需要保护用户隐私的场景中，如医疗、金融和社交媒体等。PMixED的提出为这些领域提供了强有力的隐私保护解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Ensuring the privacy of Large Language Models (LLMs) is becoming increasingly important. The most widely adopted technique to accomplish this is DP-SGD, which trains a model to guarantee Differential Privacy (DP). However, DP-SGD overestimates an adversary's capabilities in having white box access to the model and, as a result, causes longer training times and larger memory usage than SGD. On the other hand, commercial LLM deployments are predominantly cloud-based; hence, adversarial access to LLMs is black-box. Motivated by these observations, we present Private Mixing of Ensemble Distributions (PMixED): a private prediction protocol for next-token prediction that utilizes the inherent stochasticity of next-token sampling and a public model to achieve Differential Privacy. We formalize this by introducing RD-mollifers which project each of the model's output distribution from an ensemble of fine-tuned LLMs onto a set around a public LLM's output distribution, then average the projected distributions and sample from it. Unlike DP-SGD which needs to consider the model architecture during training, PMixED is model agnostic, which makes PMixED a very appealing solution for current deployments. Our results show that PMixED achieves a stronger privacy guarantee than sample-level privacy and outperforms DP-SGD for privacy $ε= 8$ on large-scale datasets. Thus, PMixED offers a practical alternative to DP training methods for achieving strong generative utility without compromising privacy.