QSLM: A Performance- and Memory-aware Quantization Framework with Tiered Search Strategy for Spike-driven Language Models
作者: Rachmad Vidya Wicaksana Putra, Pasindu Wickramasinghe, Muhammad Shafique
分类: cs.NE, cs.AI, cs.LG
发布日期: 2026-01-02
备注: Accepted at the Design, Automation and Test in Europe Conference (DATE) 2025 on April 20th-22nd, 2025 in Verona, Italy
💡 一句话要点
QSLM：面向Spike驱动语言模型的性能与内存感知分层搜索量化框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Spike驱动语言模型 量化 模型压缩 嵌入式部署 性能优化 内存优化 分层量化
📋 核心要点
- 现有大型语言模型内存占用过大，难以在资源受限的嵌入式设备上部署，而手动量化方法耗时耗力，不具备可扩展性。
- QSLM框架通过自动量化预训练的Spike驱动语言模型，在满足性能和内存约束的同时，有效压缩模型大小。
- 实验表明，QSLM在保证性能的前提下，可将内存占用减少高达86.5%，功耗降低高达20%。
📝 摘要（中文）
大型语言模型（LLMs）因其高性能和高质量的生成能力而成为解决自然语言任务的重要AI模型。然而，其巨大的计算成本、内存占用和高功耗使其难以嵌入式部署。Spike驱动语言模型（SLMs）通过显著降低LLMs的功耗而备受关注，但其内存占用对于低成本、资源受限的嵌入式设备而言仍然过大。手动量化可以有效压缩SLM的内存占用，但需要大量的设计时间和计算资源来为每个网络找到合适的量化设置，因此不适用于处理不同的网络、性能需求和内存预算。为了解决这个问题，我们提出了QSLM，一个新颖的框架，可以对预训练的SLM进行自动量化，同时满足性能和内存约束。QSLM首先识别给定网络架构的层次结构和网络层在量化下的敏感性，然后采用分层量化策略（例如，全局、块和模块级量化），同时利用多目标性能-内存权衡函数来选择最终的量化设置。实验结果表明，我们的QSLM将内存占用减少高达86.5%，功耗降低高达20%，并在不同任务中保持高性能（即，在SST-2数据集上情感分类的准确率高达84.4%，在WikiText-2数据集上文本生成的困惑度得分为23.2），接近原始非量化模型，同时满足性能和内存约束。
🔬 方法详解
问题定义：论文旨在解决Spike驱动语言模型（SLMs）在资源受限的嵌入式设备上部署时，内存占用过大的问题。现有手动量化方法虽然可以压缩模型，但需要大量的设计时间和计算资源，难以适应不同网络和约束条件。
核心思路：论文的核心思路是提出一个自动量化框架QSLM，该框架能够根据网络架构的层次结构和层敏感性，采用分层量化策略，并在性能和内存之间进行权衡，从而在满足约束条件的同时，最大程度地压缩模型。
技术框架：QSLM框架主要包含以下几个阶段：1) 网络架构分析：识别网络层的层次结构和依赖关系。2) 敏感性分析：评估不同层在量化下的性能影响。3) 分层量化：采用全局、块和模块级等多种量化粒度。4) 多目标优化：利用性能-内存权衡函数，选择最优的量化配置。
关键创新：QSLM的关键创新在于其自动化的分层量化策略和多目标优化方法。与传统的手动量化相比，QSLM能够自动搜索最优的量化配置，无需人工干预，大大提高了效率和可扩展性。此外，分层量化策略能够根据不同层的敏感性，采用不同的量化粒度，从而在保证性能的同时，最大程度地压缩模型。
关键设计：QSLM的关键设计包括：1) 分层量化策略：根据网络架构的层次结构，采用不同的量化粒度。2) 敏感性评估指标：用于衡量不同层在量化下的性能影响。3) 多目标优化函数：用于在性能和内存之间进行权衡。4) 搜索算法：用于在量化空间中搜索最优的量化配置。具体的参数设置和网络结构取决于具体的SLM模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，QSLM框架在保证性能的前提下，能够显著降低Spike驱动语言模型的内存占用和功耗。具体而言，QSLM可以将内存占用减少高达86.5%，功耗降低高达20%。在SST-2数据集上，情感分类的准确率高达84.4%，在WikiText-2数据集上，文本生成的困惑度得分为23.2，接近原始非量化模型。
🎯 应用场景
QSLM框架可应用于各种资源受限的嵌入式设备，例如移动设备、物联网设备和边缘计算设备。通过降低Spike驱动语言模型的内存占用和功耗，QSLM能够使这些设备具备更强大的自然语言处理能力，从而实现更智能的应用，例如智能助手、语音识别和机器翻译等。未来，QSLM有望推动Spike驱动语言模型在嵌入式领域的广泛应用。
📄 摘要（原文）
Large Language Models (LLMs) have been emerging as prominent AI models for solving many natural language tasks due to their high performance (e.g., accuracy) and capabilities in generating high-quality responses to the given inputs. However, their large computational cost, huge memory footprints, and high processing power/energy make it challenging for their embedded deployments. Amid several tinyLLMs, recent works have proposed spike-driven language models (SLMs) for significantly reducing the processing power/energy of LLMs. However, their memory footprints still remain too large for low-cost and resource-constrained embedded devices. Manual quantization approach may effectively compress SLM memory footprints, but it requires a huge design time and compute power to find the quantization setting for each network, hence making this approach not-scalable for handling different networks, performance requirements, and memory budgets. To bridge this gap, we propose QSLM, a novel framework that performs automated quantization for compressing pre-trained SLMs, while meeting the performance and memory constraints. To achieve this, QSLM first identifies the hierarchy of the given network architecture and the sensitivity of network layers under quantization, then employs a tiered quantization strategy (e.g., global-, block-, and module-level quantization) while leveraging a multi-objective performance-and-memory trade-off function to select the final quantization setting. Experimental results indicate that our QSLM reduces memory footprint by up to 86.5%, reduces power consumption by up to 20%, maintains high performance across different tasks (i.e., by up to 84.4% accuracy of sentiment classification on the SST-2 dataset and perplexity score of 23.2 for text generation on the WikiText-2 dataset) close to the original non-quantized model while meeting the performance and memory constraints.