Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models
作者: Michele Mastromattei, Fabio Massimo Zanzotto
分类: cs.LG, cs.CL
发布日期: 2024-02-05 (更新: 2024-06-09)
备注: 14 pages, 8 figures, 7 tables - to be published at ACL 2024
💡 一句话要点
提出KEN算法以实现大语言模型的高效非参数剪枝
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 神经网络剪枝 大语言模型 核密度估计 模型优化 参数选择 可解释性工具
📋 核心要点
- 现有剪枝算法存在架构特异性和复杂性高的问题，难以在实际应用中有效实施。
- 本文提出的KEN算法基于核密度估计，旨在通过选择性保留重要参数来优化大语言模型。
- 实验结果显示，KEN在七种大语言模型上实现了至少25%的参数减少，同时保持或提升了模型性能。
📝 摘要（中文）
神经网络剪枝在复杂模型和广泛应用背景下愈发重要。现有剪枝算法常面临架构特异性、复杂性过高及计算需求严苛等局限，难以在实际中应用。本文提出了一种基于核密度估计(KDE)的简单通用非结构化剪枝算法KEN，旨在通过选择性保留重要参数并恢复其他参数至预训练状态，构建优化的变换器。该策略在保持模型性能的同时，仅存储优化后的子网络，从而实现显著的内存节省。对七种不同的大语言模型的广泛评估表明，KEN在参数减少至少25%的情况下，性能与原始未剪枝版本相当或更优。此外，与已有剪枝和PEFT算法的深入比较验证了KEN的有效性。我们还引入了可解释工具KEN$_{viz}$，从不同视角可视化KEN优化后的模型组成。
🔬 方法详解
问题定义：本文旨在解决现有神经网络剪枝算法在架构特异性、复杂性及计算需求上的不足，使其更适用于实际应用场景。
核心思路：KEN算法通过核密度估计(KDE)选择性保留重要参数，并将其他参数恢复至预训练状态，从而优化模型并节省存储空间。
技术框架：KEN的整体架构包括参数选择模块和恢复模块，前者通过KDE评估参数重要性，后者负责将不重要的参数恢复到初始状态。
关键创新：KEN的主要创新在于其通用性和简单性，避免了现有方法的复杂计算和架构依赖，使得剪枝过程更加高效。
关键设计：KEN在参数选择中使用KDE作为评估标准，确保重要参数的保留，同时设计了恢复机制以保持模型性能，具体的损失函数和参数设置在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，KEN在七种不同的大语言模型上实现了至少25%的参数减少，同时在性能上与原始未剪枝版本持平或更优，显示出其优越的剪枝效果。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够有效减小模型的存储需求，提高推理速度，具有重要的实际价值和未来影响。
📄 摘要（原文）
Neural network pruning has become increasingly crucial due to the complexity of these models and their widespread use in various fields. Existing pruning algorithms often suffer from limitations such as architecture specificity, excessive complexity and reliance on demanding calculations, rendering them impractical for real-world applications. This paper introduces KEN: a straightforward, universal and unstructured pruning algorithm based on Kernel Density Estimation (KDE). KEN aims to construct optimized transformers by selectively preserving the most significant parameters while restoring others to their pre-training state. This strategy preserves model performance while enabling storage of only the optimized subnetwork, leading to substantial memory savings. Extensive evaluations across seven different LLMs demonstrate that KEN achieves equal or better performance than their original unpruned versions, with a minimum parameter reduction of 25%. Furthermore, in-depth comparisons with established pruning and PEFT algorithms confirm KEN effectiveness. We further introduce KEN$_{viz}$, an explainable tool that visualizes the optimized model composition achieved by KEN from different points of view.