Private Fine-tuning of Large Language Models with Zeroth-order Optimization

📄 arXiv: 2401.04343v3 📥 PDF

作者: Xinyu Tang, Ashwinee Panda, Milad Nasr, Saeed Mahloujifar, Prateek Mittal

分类: cs.LG, cs.CL, cs.CR

发布日期: 2024-01-09 (更新: 2025-01-31)

💡 一句话要点

提出DP-ZO框架以解决大语言模型的隐私微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 零阶优化 大语言模型 隐私微调 内存效率 拉普拉斯机制 模型训练

📋 核心要点

  1. 现有的DP-SGD方法在大规模基础模型的训练中面临扩展性挑战，难以兼顾隐私保护与模型效用。
  2. 本文提出DP-ZO框架，通过随机化零阶优化中的梯度方向，仅对步长进行隐私化，从而实现高效的私有微调。
  3. DP-ZO在内存效率上优于DP-SGD，并在多个任务中表现出更高的效用，尤其是在使用拉普拉斯机制时。

📝 摘要（中文）

差分隐私随机梯度下降（DP-SGD）允许模型以隐私保护的方式进行训练，但在基础模型的时代难以扩展。本文提出DP-ZO，一个通过对零阶优化方法进行隐私化的私有微调框架。我们的方法设计的关键在于，零阶优化中的梯度方向是随机的，训练数据中唯一的信息是步长，即一个标量。因此，我们只需对标量步长进行隐私化，这在内存上是高效的。DP-ZO在不同任务和模型规模下提供了强大的隐私-效用权衡，并在$( ext{ε}, ext{δ})$-DP中与DP-SGD相当。值得注意的是，DP-ZO在内存效率上具有显著优势，并在使用拉普拉斯机制时在$ ext{ε}$-DP中获得更高的效用。

🔬 方法详解

问题定义：本文旨在解决大语言模型在微调过程中如何有效地实现差分隐私的问题。现有的DP-SGD方法在处理大规模模型时面临内存和效用的双重挑战。

核心思路：DP-ZO框架的核心思想是利用零阶优化的随机梯度方向，仅对步长进行隐私化处理。这种设计使得模型在保持隐私的同时，能够高效地进行训练。

技术框架：DP-ZO的整体架构包括数据预处理、步长计算、隐私化处理和模型更新四个主要模块。首先对训练数据进行预处理，然后计算步长，并对其进行隐私化，最后更新模型参数。

关键创新：DP-ZO的主要创新在于其通过随机化梯度方向和仅对步长进行隐私化，显著提高了内存效率和模型效用。这与传统的DP-SGD方法在处理隐私时的复杂性形成鲜明对比。

关键设计：在DP-ZO中，步长的计算采用了拉普拉斯机制进行隐私保护，确保了在不同任务和模型规模下的有效性。同时，模型的更新过程经过精心设计，以最大化隐私保护与效用之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DP-ZO在多个任务中相较于DP-SGD展现出更高的效用，尤其是在使用拉普拉斯机制时，$ ext{ε}$-DP的性能提升显著。此外，DP-ZO在内存使用上也表现出明显的优势，适用于大规模模型的训练。

🎯 应用场景

DP-ZO框架在自然语言处理、对话系统和其他需要隐私保护的机器学习任务中具有广泛的应用潜力。其高效的隐私微调能力使得在处理敏感数据时，能够更好地保护用户隐私，同时保持模型的性能。这一研究的未来影响可能会推动更多隐私保护技术在实际应用中的落地。

📄 摘要（原文）

Differentially private stochastic gradient descent (DP-SGD) allows models to be trained in a privacy-preserving manner, but has proven difficult to scale to the era of foundation models. We introduce DP-ZO, a private fine-tuning framework for large language models by privatizing zeroth order optimization methods. A key insight into the design of our method is that the direction of the gradient in the zeroth-order optimization we use is random and the only information from training data is the step size, i.e., a scalar. Therefore, we only need to privatize the scalar step size, which is memory-efficient. DP-ZO provides a strong privacy-utility trade-off across different tasks, and model sizes that are comparable to DP-SGD in $(\varepsilon,δ)$-DP. Notably, DP-ZO possesses significant advantages over DP-SGD in memory efficiency, and obtains higher utility in $\varepsilon$-DP when using the Laplace mechanism.