The Asymmetric Harms of LLM Compression
作者: Yuan Wu, Mairui Li, Lesia Semenova, Chudi Zhong
分类: cs.CL
发布日期: 2026-08-20
💡 一句话要点
系统评估LLM压缩对知识保留和偏见的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 模型压缩 知识保留 社会偏见 行为分析
📋 核心要点
- 现有的LLM压缩方法在降低成本的同时，常常忽视了模型行为的潜在变化，导致知识保留和偏见问题的加剧。
- 本文通过系统评估不同压缩方法对LLM的影响，提出了对知识保留和模型信心进行细致分析的必要性。
- 实验结果表明，压缩模型在头部知识的保留上表现不佳，同时在错误答案上保持过高的信心，且偏见分数的变化未能反映真实情况。
📝 摘要（中文）
大型语言模型（LLMs）的压缩可以降低部署成本，但标准的聚合指标如困惑度和准确性常常掩盖潜在的行为变化。本文系统评估了三种LLM在11种压缩方法下的表现，探讨压缩对知识保留、模型信心和社会偏见的影响。研究发现，压缩不成比例地减少了头部知识的相对保留，同时压缩模型在新丢失知识上的错误答案仍然保持较高的信心。此外，稳定的聚合偏见分数可能掩盖了不同人口子群体之间刻板偏好的显著变化。这些发现揭示了聚合性能指标未能捕捉的非对称行为变化，强调了在部署前对压缩模型进行细致评估的必要性。
🔬 方法详解
问题定义：本文旨在解决LLM压缩过程中知识保留和模型行为变化的问题。现有方法往往依赖聚合指标，未能揭示模型在压缩后的真实表现和潜在偏见。
核心思路：通过系统评估三种LLM在11种压缩方法下的表现，分析压缩对知识保留、模型信心和社会偏见的影响，强调细致评估的重要性。
技术框架：研究采用了多种压缩方法对LLM进行实验，评估指标包括知识保留、模型信心和偏见分数，整体流程包括模型压缩、性能评估和行为分析三个主要阶段。
关键创新：本研究的创新在于揭示了压缩对头部知识和尾部知识保留的非对称影响，以及压缩模型在错误答案上的过高信心，这些都是以往研究未能深入探讨的内容。
关键设计：在实验中，采用了多种压缩技术和评估指标，特别关注了模型在不同人口子群体中的偏见表现，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，压缩模型在头部知识的保留上显著低于尾部知识，且在错误答案上的信心保持在较高水平。此外，聚合偏见分数的稳定性掩盖了不同人口子群体之间的显著偏见变化，这些发现强调了对压缩模型进行细致评估的必要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能客服和教育技术等。通过深入理解LLM压缩对知识保留和偏见的影响，可以为模型的优化和应用提供重要指导，从而提高模型在实际场景中的可靠性和公平性。
📄 摘要（原文）
Large language models (LLMs) compression reduces deployment costs, but standard aggregate metrics like perplexity and accuracy often mask underlying behavioral shifts. In this work, we systematically evaluate 3 LLMs across 11 compression methods to investigate the effects of compression on knowledge retention, model confidence, and social bias. We find that compression disproportionately reduces the relative retention of head knowledge compared to tail knowledge. Furthermore, compressed models often remain substantially confident in their incorrect answers on newly lost knowledge. Finally, we demonstrate that stable aggregate bias scores can conceal substantial, opposing shifts in stereotypical preferences across demographic subgroups. Together, these findings reveal asymmetric behavioral changes that aggregate performance measures fail to capture, highlighting the need for granular evaluation of compressed models before deployment.