Understanding the Effect of Model Compression on Social Bias in Large Language Models

📄 arXiv: 2312.05662v2 📥 PDF

作者: Gustavo Gonçalves, Emma Strubell

分类: cs.CL

发布日期: 2023-12-09 (更新: 2023-12-12)

备注: EMNLP 2023 Main

💡 一句话要点

研究模型压缩对大型语言模型社会偏见的影响，发现量化具有正则化效果。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型压缩 社会偏见 量化 知识蒸馏

📋 核心要点

  1. 大型语言模型存在社会偏见，并在下游任务中造成伤害，需要有效缓解。
  2. 通过量化和知识蒸馏压缩模型，研究其对社会偏见的影响，寻找最佳平衡。
  3. 实验表明，量化具有正则化效果，可在一定程度上缓解社会偏见。

📝 摘要（中文）

大型语言模型（LLM）在海量网络文本上进行自监督训练，不可避免地会学习到文本中存在的社会偏见。如果不加以干预，这些偏见会持续影响模型在下游任务中的预测，导致代表性伤害。目前已有很多策略旨在缓解预训练阶段学习到的不当社会偏见。同时，模型压缩方法因能有效降低LLM的计算负担而日益普及。尽管这两种方法都非常重要且应用广泛，但鲜有研究探索它们之间的相互作用。本文对通过量化和知识蒸馏进行模型压缩对LLM社会偏见的影响进行了严格控制的研究。结果表明，更长的预训练时间和更大的模型会导致更高的社会偏见，而量化则表现出正则化效果，其最佳权衡点约为原始预训练时间的20%。

🔬 方法详解

问题定义：论文旨在研究模型压缩技术（量化和知识蒸馏）对大型语言模型中社会偏见的影响。现有方法虽然分别关注了偏见缓解和模型压缩，但缺乏对二者相互作用的深入理解，无法指导如何在压缩模型的同时尽可能减少偏见。

核心思路：论文的核心思路是系统性地评估不同压缩方法和压缩程度对模型社会偏见的影响。通过控制预训练时长和模型大小等因素，分析压缩过程如何改变模型的偏见程度，并寻找在模型大小、计算效率和偏见程度之间的最佳平衡点。量化被发现具有正则化效果，可以缓解过拟合的偏见。

技术框架：该研究采用实验驱动的方法，主要流程包括：1) 选择或训练不同大小和预训练时长的大型语言模型；2) 使用量化和知识蒸馏等方法对模型进行压缩；3) 使用既定的社会偏见评估指标（具体指标未知）评估压缩前后模型的偏见程度；4) 分析压缩方法、压缩程度与偏见程度之间的关系，寻找最佳压缩策略。

关键创新：该研究的创新之处在于首次系统性地研究了模型压缩技术对大型语言模型社会偏见的影响。以往的研究主要集中在偏见缓解或模型压缩本身，而忽略了二者之间的相互作用。该研究揭示了量化具有正则化效果，可以在一定程度上缓解社会偏见，为未来开发更公平、更高效的大型语言模型提供了新的思路。

关键设计：论文的关键设计在于对实验的严格控制。作者控制了预训练时长和模型大小等因素，以便更清晰地观察压缩方法对偏见的影响。此外，选择合适的社会偏见评估指标至关重要，但具体指标未知。量化和知识蒸馏的具体参数设置也需要仔细调整，以达到最佳的压缩效果和偏见缓解效果。

📊 实验亮点

实验结果表明，更长的预训练时间和更大的模型会导致更高的社会偏见。量化表现出正则化效果，其最佳权衡点约为原始预训练时间的20%。这意味着在适当的压缩程度下，量化不仅可以降低模型的计算成本，还可以缓解模型中存在的社会偏见。

🎯 应用场景

该研究成果可应用于开发更公平、更高效的大型语言模型。通过在模型压缩过程中考虑社会偏见的影响，可以避免在降低计算成本的同时加剧偏见。这对于在各种实际应用中部署大型语言模型至关重要，例如自然语言处理、机器翻译、文本生成等，有助于减少算法歧视，提升用户体验。

📄 摘要（原文）

Large Language Models (LLMs) trained with self-supervision on vast corpora of web text fit to the social biases of that text. Without intervention, these social biases persist in the model's predictions in downstream tasks, leading to representational harm. Many strategies have been proposed to mitigate the effects of inappropriate social biases learned during pretraining. Simultaneously, methods for model compression have become increasingly popular to reduce the computational burden of LLMs. Despite the popularity and need for both approaches, little work has been done to explore the interplay between these two. We perform a carefully controlled study of the impact of model compression via quantization and knowledge distillation on measures of social bias in LLMs. Longer pretraining and larger models led to higher social bias, and quantization showed a regularizer effect with its best trade-off around 20% of the original pretraining time.