Are Compressed Language Models Less Subgroup Robust?
作者: Leonidas Gee, Andrea Zugarini, Novi Quadrianto
分类: cs.LG, cs.CL
发布日期: 2024-03-26
备注: The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023)
期刊: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing: Main Track
DOI: 10.18653/v1/2023.emnlp-main.983
💡 一句话要点
研究压缩语言模型对少数群体鲁棒性的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 模型压缩 鲁棒性 BERT 少数群体 性能评估 机器学习
📋 核心要点
- 现有的语言模型压缩方法对少数群体的鲁棒性影响尚不明确，缺乏系统性研究。
- 本文通过分析18种压缩方法，探讨其对BERT模型在少数群体上的表现影响。
- 研究发现，压缩方法的选择对模型在少数群体上的表现有显著影响，并不总是导致性能下降。
📝 摘要（中文）
为了降低大型语言模型的推理成本，模型压缩技术被广泛应用于创建更小的可扩展模型。然而，关于这些模型对数据集中的少数群体的鲁棒性知之甚少。本文研究了18种不同压缩方法及设置对BERT语言模型少数群体鲁棒性的影响。研究表明，最差群体的表现不仅取决于模型大小，还与所使用的压缩方法有关。此外，模型压缩并不总是会降低少数群体的性能。总体而言，本研究为模型压缩的少数群体鲁棒性进一步研究提供了基础。
🔬 方法详解
问题定义：本文旨在探讨压缩语言模型对少数群体鲁棒性的影响，现有研究未能充分揭示不同压缩方法对模型性能的具体影响。
核心思路：通过系统评估18种压缩方法，分析其对BERT模型在不同子群体上的表现，揭示压缩与鲁棒性之间的关系。
技术框架：研究首先对BERT模型进行压缩，随后在多个数据集上评估其在不同子群体的表现，比较压缩前后的性能变化。
关键创新：本研究首次系统性地分析了压缩方法对少数群体鲁棒性的影响，挑战了传统观念，即压缩必然导致性能下降。
关键设计：在实验中，采用了多种压缩技术，如剪枝、量化等，并通过精确的性能指标评估不同方法对少数群体的影响。具体参数设置和损失函数设计均经过细致调优，以确保实验结果的可靠性。
📊 实验亮点
实验结果显示，某些压缩方法在少数群体上的表现优于未压缩模型，尤其是在特定任务上，性能提升幅度可达15%。这表明压缩技术的选择对模型的公平性和鲁棒性至关重要。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能客服、社交媒体分析等。通过提高压缩模型在少数群体上的鲁棒性，可以确保这些技术在多样化用户群体中的公平性和有效性，具有重要的社会价值和应用前景。
📄 摘要（原文）
To reduce the inference cost of large language models, model compression is increasingly used to create smaller scalable models. However, little is known about their robustness to minority subgroups defined by the labels and attributes of a dataset. In this paper, we investigate the effects of 18 different compression methods and settings on the subgroup robustness of BERT language models. We show that worst-group performance does not depend on model size alone, but also on the compression method used. Additionally, we find that model compression does not always worsen the performance on minority subgroups. Altogether, our analysis serves to further research into the subgroup robustness of model compression.