Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning

📄 arXiv: 2312.17493v2 📥 PDF

作者: Xiao-Yang Liu, Rongyi Zhu, Daochen Zha, Jiechao Gao, Shan Zhong, Matt White, Meikang Qiu

分类: cs.LG, cs.CR

发布日期: 2023-12-29 (更新: 2024-06-02)

备注: 21 pages, 1 figure, 19 tables

💡 一句话要点

提出DP-LoRA，通过联邦学习和差分隐私实现LLM的低秩自适应微调。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 差分隐私 低秩自适应 大型语言模型 隐私保护

📋 核心要点

  1. 现有LLM微调方法在联邦学习场景下存在隐私泄露风险，并且直接微调整个模型通信开销巨大。
  2. DP-LoRA结合差分隐私和低秩自适应，在保护数据隐私的同时，降低了联邦学习中的通信成本。
  3. 实验表明，DP-LoRA在保证隐私约束的前提下，有效降低了通信开销，并在多个数据集上取得了良好效果。

📝 摘要（中文）

大型语言模型（LLM）的兴趣和应用激增，推动了针对特定应用（如金融和医学）对这些模型进行微调的需求。然而，数据隐私问题日益突出，尤其是在多个利益相关者希望使用敏感数据协同增强LLM时。在这种情况下，联邦学习成为一种自然的选择，它允许去中心化微调，而无需将原始数据暴露给中央服务器。本文研究了如何通过实用的联邦学习方法确保LLM微调中的数据隐私，从而实现多方安全贡献以增强LLM。然而，挑战依然存在：1) 尽管避免了原始数据暴露，但仍存在从模型输出中推断敏感信息的风险；2) LLM的联邦学习会产生显著的通信开销。为了应对这些挑战，本文提出了一种为LLM量身定制的新型联邦学习算法DP-LoRA。DP-LoRA通过采用高斯机制在权重更新中添加噪声来保护数据隐私，在促进协同模型训练的同时维护个人数据隐私。此外，DP-LoRA通过低秩自适应优化通信效率，最大限度地减少分布式训练期间更新权重的传输。在医疗、金融和通用数据集上使用各种LLM的实验结果表明，DP-LoRA有效地确保了严格的隐私约束，同时最大限度地降低了通信开销。

🔬 方法详解

问题定义：论文旨在解决在联邦学习场景下，如何对大型语言模型进行微调，同时保护用户数据的隐私，并降低通信开销的问题。现有方法要么直接共享模型参数，存在隐私泄露风险，要么通信成本过高，难以应用到大型模型上。

核心思路：论文的核心思路是结合差分隐私（DP）和低秩自适应（LoRA）技术。通过差分隐私保护用户数据的隐私，防止模型泄露敏感信息；通过低秩自适应减少需要传输的参数量，降低通信开销。这样既能保证隐私，又能提高训练效率。

技术框架：DP-LoRA的整体框架是一个标准的联邦学习流程，包括以下几个阶段：1) 客户端本地训练：每个客户端使用自己的数据，基于LoRA方法对LLM进行微调，并添加差分隐私噪声；2) 服务器聚合：服务器收集来自各个客户端的LoRA权重更新，并进行聚合；3) 模型更新：服务器使用聚合后的权重更新LLM；4) 迭代：重复以上步骤，直到模型收敛。

关键创新：DP-LoRA的关键创新在于将差分隐私和低秩自适应相结合，解决了联邦学习中LLM微调的隐私和通信效率问题。与直接应用差分隐私相比，LoRA降低了需要添加噪声的参数量，从而提高了模型性能。与直接微调整个模型相比，LoRA大大降低了通信开销。

关键设计：DP-LoRA的关键设计包括：1) 使用高斯机制添加差分隐私噪声，控制噪声的强度以满足隐私预算；2) 使用LoRA方法，只训练少量低秩矩阵，而不是整个LLM；3) 选择合适的LoRA秩（rank）和学习率，以平衡模型性能和通信开销。

📊 实验亮点

论文在医疗、金融和通用数据集上进行了实验，结果表明DP-LoRA能够在满足严格隐私约束的前提下，有效降低通信开销。具体性能数据未知，但论文强调DP-LoRA在保证隐私的同时，能够取得与非隐私保护方法相近的性能。

🎯 应用场景

DP-LoRA可应用于金融、医疗等对数据隐私要求较高的领域，实现多方参与的大型语言模型协同训练。例如，不同医院可以在不共享患者数据的前提下，共同训练一个医疗领域的LLM，提高模型在特定疾病诊断或治疗方面的能力。该方法也有助于促进开源LLM的社区贡献，让更多人参与到模型训练中，而无需担心数据隐私问题。

📄 摘要（原文）

The surge in interest and application of large language models (LLMs) has sparked a drive to fine-tune these models to suit specific applications, such as finance and medical science. However, concerns regarding data privacy have emerged, especially when multiple stakeholders aim to collaboratively enhance LLMs using sensitive data. In this scenario, federated learning becomes a natural choice, allowing decentralized fine-tuning without exposing raw data to central servers. Motivated by this, we investigate how data privacy can be ensured in LLM fine-tuning through practical federated learning approaches, enabling secure contributions from multiple parties to enhance LLMs. Yet, challenges arise: 1) despite avoiding raw data exposure, there is a risk of inferring sensitive information from model outputs, and 2) federated learning for LLMs incurs notable communication overhead. To address these challenges, this article introduces DP-LoRA, a novel federated learning algorithm tailored for LLMs. DP-LoRA preserves data privacy by employing a Gaussian mechanism that adds noise in weight updates, maintaining individual data privacy while facilitating collaborative model training. Moreover, DP-LoRA optimizes communication efficiency via low-rank adaptation, minimizing the transmission of updated weights during distributed training. The experimental results across medical, financial, and general datasets using various LLMs demonstrate that DP-LoRA effectively ensures strict privacy constraints while minimizing communication overhead.