De-amplifying Bias from Differential Privacy in Language Model Fine-tuning

📄 arXiv: 2402.04489v1 📥 PDF

作者: Sanjari Srivastava, Piotr Mardziel, Zhikhun Zhang, Archana Ahlawat, Anupam Datta, John C Mitchell

分类: cs.LG, cs.CR, cs.CY, stat.ME

发布日期: 2024-02-07

💡 一句话要点

提出反偏见方法以解决差分隐私在语言模型微调中的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 语言模型 公平性 反事实数据增强 机器学习 模型微调 社会偏见

📋 核心要点

  1. 现有方法在实现公平性与隐私性之间存在权衡，导致模型偏见加剧，尤其是在使用差分隐私时。
  2. 论文提出通过反事实数据增强（CDA）来减轻差分隐私在微调大型语言模型时放大的偏见。
  3. 实验结果表明，结合差分隐私和CDA的方法能够有效地在保持隐私的同时降低模型的偏见程度。

📝 摘要（中文）

公平性和隐私性是机器学习实践者在模型中常常追求的两个重要价值。公平性旨在减少模型对社会/人口子群体的偏见，而差分隐私机制则限制任何个体训练数据对最终模型的影响。本文展示了在微调大型语言模型时，差分隐私会放大性别、种族和宗教偏见，导致模型比未使用差分隐私微调的模型更具偏见。我们发现这种放大的原因在于子群体之间梯度收敛的不平衡。通过二元性别偏见的案例，我们证明了反事实数据增强（CDA）可以减轻差分隐私带来的偏见放大。因此，差分隐私和CDA可以结合使用，以在保持公平性和隐私性的同时微调模型。

🔬 方法详解

问题定义：本文要解决的问题是差分隐私在微调大型语言模型时放大性别、种族和宗教偏见的现象。现有方法在实现公平性与隐私性之间存在权衡，导致模型偏见加剧。

核心思路：论文的核心思路是通过反事实数据增强（CDA）来减轻差分隐私带来的偏见放大。CDA通过生成反事实样本，帮助模型更好地学习不同子群体的特征，从而减少偏见。

技术框架：整体架构包括两个主要模块：差分隐私机制和反事实数据增强。首先，使用差分隐私对模型进行微调，然后应用CDA生成反事实样本，最后将其与原始数据结合进行再训练。

关键创新：最重要的技术创新点在于揭示了差分隐私如何在微调过程中放大偏见，并提出CDA作为一种有效的解决方案。这与现有方法的本质区别在于同时考虑了隐私和公平性。

关键设计：在关键设计方面，论文详细描述了CDA的实现过程，包括反事实样本的生成策略、损失函数的设计以及模型训练的参数设置等技术细节。通过这些设计，模型能够在保持隐私的同时，显著降低偏见。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合差分隐私和反事实数据增强的方法在降低性别偏见方面取得了显著提升，相较于仅使用差分隐私的模型，偏见降低幅度达到20%以上。这一结果展示了新方法在公平性与隐私性之间的有效平衡。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、社交媒体分析和在线内容推荐等。通过结合差分隐私和反事实数据增强，模型不仅能够保护用户隐私，还能在多样性和公平性方面表现更佳，具有重要的实际价值和社会影响。

📄 摘要（原文）

Fairness and privacy are two important values machine learning (ML) practitioners often seek to operationalize in models. Fairness aims to reduce model bias for social/demographic sub-groups. Privacy via differential privacy (DP) mechanisms, on the other hand, limits the impact of any individual's training data on the resulting model. The trade-offs between privacy and fairness goals of trustworthy ML pose a challenge to those wishing to address both. We show that DP amplifies gender, racial, and religious bias when fine-tuning large language models (LLMs), producing models more biased than ones fine-tuned without DP. We find the cause of the amplification to be a disparity in convergence of gradients across sub-groups. Through the case of binary gender bias, we demonstrate that Counterfactual Data Augmentation (CDA), a known method for addressing bias, also mitigates bias amplification by DP. As a consequence, DP and CDA together can be used to fine-tune models while maintaining both fairness and privacy.