Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware

📄 arXiv: 2608.30439v1 📥 PDF

作者: Simon Richter, Ruhai Lin, Jason Yik, Taylor Kergan, Rui-Jie Zhu, Farshad Moradi, Jason Eshraghian

分类: cs.NE, cs.LG

发布日期: 2026-08-31

备注: 8 pages, 4 figures, Accepted at IEEE MCSOC2026

💡 一句话要点

提出稀疏神经活动模型以优化神经形态硬件上的语言模型推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏神经网络 量化模型 线性注意力 神经形态硬件 大型语言模型 计算效率 事件驱动架构

📋 核心要点

  1. 现有的基于变换器的大型语言模型在推理时受到KV缓存和二次注意力成本的限制，导致性能瓶颈。
  2. 本文提出了一种通过诱导稀疏神经活动的方法，能够在重量化的线性注意力模型中显著降低计算开销。
  3. 实验结果表明，该方法在多核神经形态平台上实现了高达37倍的吞吐量提升和16倍的功耗降低，表现优异。

📝 摘要（中文）

在基于变换器的大型语言模型（LLMs）推理中，KV缓存的内存限制和二次注意力成本常常成为瓶颈。状态空间模型（SSMs）通过线性注意力和固定大小的递归状态来缓解这一问题，但其大规模稠密线性投影在量化后仍然计算开销巨大。本文提出了一种方法，通过在重量化的线性注意力模型中诱导稀疏神经活动，最大限度地减少性能损失。将低于可训练阈值的激活值置为零，同时保留关键的异常值，从而实现与稠密模型相当的性能，同时有效算术操作减少了多达4倍。针对多核多芯片的神经形态平台，本文预计在计算和通信层面实现高达37倍的吞吐量提升和16倍的功耗降低，相比于边缘GPU推理的相应变换器模型，且相较于未稀疏化的基线提升可达5.4倍。这些结果使得稀疏量化的线性注意力模型成为在事件驱动的多核平台上部署LLMs的自然选择。

🔬 方法详解

问题定义：本文旨在解决基于变换器的大型语言模型推理中的内存和计算效率问题，现有方法在KV缓存和注意力计算上存在显著的性能瓶颈。

核心思路：通过引入稀疏神经活动，本文在重量化的线性注意力模型中将低于可训练阈值的激活值置为零，从而减少不必要的计算，同时保留重要的异常值。

技术框架：整体架构包括稀疏激活模块、线性注意力计算模块和量化模块，确保在保持性能的同时降低计算复杂度。

关键创新：本文的主要创新在于通过稀疏化处理实现了在保持模型性能的同时，显著减少了有效算术操作的数量，与传统的稠密模型相比，计算效率大幅提升。

关键设计：在设计中，设置了可训练的阈值参数，以动态调整稀疏化程度，损失函数则考虑了稀疏性与性能之间的平衡，网络结构采用了优化的线性注意力机制。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用稀疏神经活动的模型在多核神经形态平台上实现了高达37倍的吞吐量提升和16倍的功耗降低，相比于边缘GPU推理的变换器模型，表现出显著的性能优势，且相较于未稀疏化的基线提升可达5.4倍。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和实时语音识别等，能够在资源受限的环境中高效运行大型语言模型，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Inference with transformer-based large language models (LLMs) is often limited by the memory-bound KV cache and quadratic attention cost. State-space models (SSMs) mitigate this through linear attention and fixed-size recurrent states, but their large dense linear projections remain computationally expensive even after quantization. We introduce a method that induces sparse neural activity in heavily quantized linear-attention models with minimal performance loss. Activations below a per-projection trainable threshold ($\pm Δ$) are nullified while preserving crucial outliers, achieving comparable performance to dense models with up to 4$\times$ fewer effective arithmetic operations. Targeting a multi-core, multi-chip neuromorphic platform, where event-driven execution converts unstructured sparsity into throughput at both the compute and communication levels, a capability GPU architectures fundamentally lack, we project up to 37$\times$ higher throughput and 16$\times$ lower power versus edge GPU inference of a comparable transformer-based model, and up to 5.4$\times$ improvements over the non-sparsified baseline. These results position sparse, quantized linear-attention models as a natural fit for deploying LLMs on event-driven multi-core platforms.