Divergent Token Metrics: Measuring degradation to prune away LLM components -- and optimize quantization

📄 arXiv: 2311.01544v3 📥 PDF

作者: Björn Deiseroth, Max Meuer, Nikolas Gritsch, Constantin Eichenberg, Patrick Schramowski, Matthias Aßenmacher, Kristian Kersting

分类: cs.CL, cs.LG

发布日期: 2023-11-02 (更新: 2024-04-03)

💡 一句话要点

提出Divergent Token Metrics以优化LLM压缩与量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型压缩 量化 Divergent Token Metrics 性能优化 自然语言处理 模型稀疏化

📋 核心要点

  1. 现有的困惑度和准确性度量无法准确反映LLM的文本生成质量，限制了模型压缩的有效性。
  2. 论文提出Divergent Token Metrics（DTMs），通过测量token差异来评估压缩模型，提供更深入的分析。
  3. 实验结果显示，Llama-2模型中25%的注意力组件可被修剪超过90%，且80%的参数可无损转换为int8。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理领域展现了卓越的能力，但其不断增长的规模引发了有效部署和压缩的关注。本研究引入了Divergent Token Metrics（DTMs），这是一种新颖的压缩LLM评估方法，克服了传统困惑度或准确性度量的局限性，未能准确反映文本生成质量。DTMs通过测量token的差异，深入分析模型压缩的细微之处，特别是在单独评估组件影响时。利用第一差异token度量（FDTM）进行模型稀疏化，发现Llama-2模型家族中25%的注意力组件可以在保持SOTA性能的情况下修剪超过90%。在量化方面，FDTM表明超过80%的参数可以在没有特殊异常管理的情况下简单转换为int8。这些评估表明，选择适当的参数压缩至关重要，而FDTM能够识别这些参数，而标准度量则导致结果恶化。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型（LLMs）压缩评估中的不足，特别是现有的困惑度和准确性度量无法有效反映文本生成质量的问题。

核心思路：提出Divergent Token Metrics（DTMs），通过测量token之间的差异，提供对模型压缩影响的深入理解，尤其是在评估各组件时。

技术框架：DTMs的整体架构包括token差异计算、模型组件评估和压缩策略制定三个主要模块。首先计算token的差异，然后评估各组件的影响，最后制定相应的压缩策略。

关键创新：DTMs的核心创新在于其能够量化token的差异，提供比传统度量更细致的模型压缩评估，尤其是在组件级别的影响分析上。

关键设计：在FDTM的应用中，设定了特定的参数阈值，以识别可修剪的注意力组件，并在量化过程中采用了简单的int8转换策略，避免了复杂的异常管理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，利用FDTM进行模型稀疏化时，Llama-2模型中25%的注意力组件可被修剪超过90%，且在量化方面，超过80%的参数可以无损转换为int8。这些结果显示DTMs在模型压缩和量化中的有效性，明显优于传统评估方法。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的优化与部署，尤其是在资源受限的环境中。通过有效的模型压缩和量化，能够在保持性能的同时，降低计算资源的需求，提升模型的实际应用价值。未来，该方法可能会影响LLM的广泛应用，促进更高效的自然语言处理系统的开发。

📄 摘要（原文）

Large Language Models (LLMs) have reshaped natural language processing with their impressive capabilities. However, their ever-increasing size has raised concerns about their effective deployment and the need for LLM compression. This study introduces the Divergent Token Metrics (DTMs), a novel approach to assessing compressed LLMs, addressing the limitations of traditional perplexity or accuracy measures that fail to accurately reflect text generation quality. DTMs measure token divergences that allow deeper insights into the subtleties of model compression, in particular, when evaluating components' impacts individually. Utilizing the First Divergent Token Metric (FDTM) in model sparsification reveals that 25% of all attention components can be pruned beyond 90% on the Llama-2 model family, still keeping SOTA performance. For quantization, FDTM suggests that more than 80% of parameters can be naively transformed to int8 without special outlier management. These evaluations indicate the necessity of choosing appropriate compressions for parameters individually -- and that FDTM can identify those -- while standard metrics result in deteriorated outcomes.