Resting Neurons, Active Insights: Robustify Activation Sparsity for Large Language Models

📄 arXiv: 2512.12744 📥 PDF

作者: Haotian Xu, Jiannan Yang, Tian Gao, Tsui-Wei Weng, Tengfei Ma

分类: cs.LG

发布日期: 2026-04-06

💡 一句话要点

SPON：通过激活稀疏化提升大语言模型推理效率并保持精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 激活稀疏化 模型推理加速 表征对齐 自发神经元

📋 核心要点

  1. 现有激活稀疏化方法在大模型推理加速中面临精度损失的挑战，源于激活稀疏性破坏了预训练学习到的输入相关激活。
  2. 论文提出自发神经元（SPON）机制，通过注入少量可学习的、输入无关的激活向量作为表征锚点，稳定稀疏计算。
  3. 实验表明，SPON在多个LLM上恢复了性能，稳定了潜在表征，并保持了泛化能力，且推理开销可忽略不计。

📝 摘要（中文）

激活稀疏性为加速大语言模型（LLM）推理提供了一条有吸引力的途径，它通过选择性地抑制隐藏层的激活来实现。然而，现有的方法在高稀疏度下会表现出严重的精度下降。我们发现这种失败源于表征的不稳定性：激活稀疏性扰乱了预训练期间学习到的输入相关的激活，从而导致隐藏状态中的分布偏移。为了解决这个问题，我们将激活稀疏性重新定义为一个表征对齐问题，并引入了自发神经元（SPON），这是一种受生物系统中自发神经活动启发的轻量级机制。SPON注入一小组可学习的、输入无关的激活向量，这些向量充当稀疏计算的持久表征锚点。这些向量通过分布匹配训练到密集模型，并且可以在训练后被吸收到偏置项中，从而产生可忽略的推理开销。在多个LLM骨干网络上，SPON始终如一地恢复性能，稳定潜在表征，并保持泛化能力。我们的结果表明，SPON是可靠的激活稀疏推理的有效且有原则的解决方案，并为LLM中的知识保留提供了新的见解。

🔬 方法详解

问题定义：现有的大语言模型激活稀疏化方法，旨在通过减少激活神经元的数量来加速推理过程。然而，这些方法在高稀疏度下会引起显著的精度下降。根本原因是激活稀疏性破坏了模型在预训练阶段学习到的、与输入相关的神经元激活模式，导致隐藏层表征的分布发生偏移，从而影响模型的性能。

核心思路：论文的核心思路是将激活稀疏化问题转化为一个表征对齐问题。通过引入一组可学习的、输入无关的“自发神经元”（SPON），作为稀疏计算的表征锚点，来稳定隐藏层的表征。这些SPONs可以看作是模型在进行稀疏计算时的一个“参照系”，帮助模型更好地保留原始的表征信息。

技术框架：SPON的整体框架包括以下几个关键步骤：1）在模型的每一层注入一小组可学习的、输入无关的激活向量（SPONs）；2）使用分布匹配损失函数，训练这些SPONs，使其输出分布尽可能接近原始密集模型的输出分布；3）在训练完成后，将SPONs的参数吸收到模型的偏置项中，从而在推理阶段避免额外的计算开销。

关键创新：SPON的关键创新在于其将激活稀疏化问题重新定义为表征对齐问题，并引入了“自发神经元”的概念。与现有的激活稀疏化方法不同，SPON不是简单地抑制神经元的激活，而是通过引入一组额外的、可学习的激活向量来稳定隐藏层的表征，从而在保证稀疏性的同时，尽可能地保留模型的原始性能。

关键设计：SPON的关键设计包括：1）SPONs的数量：论文中提到SPONs的数量相对较少，以保证计算效率；2）分布匹配损失函数：论文使用了一种合适的分布匹配损失函数来训练SPONs，使其输出分布尽可能接近原始密集模型的输出分布，例如可以使用KL散度或者MMD距离；3）参数吸收：在训练完成后，SPONs的参数会被吸收到模型的偏置项中，从而在推理阶段避免额外的计算开销。具体来说，SPON的输出会被加到原始模型的偏置项上，从而实现参数的融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个LLM骨干网络上进行了实验，结果表明SPON能够显著恢复激活稀疏化带来的性能损失，稳定潜在表征，并保持泛化能力。具体性能数据未在摘要中给出，但强调了SPON在不同模型上的有效性和一致性。SPON在恢复性能的同时，推理开销可忽略不计。

🎯 应用场景

SPON技术可应用于各种需要加速推理的大语言模型场景，例如移动设备上的本地部署、资源受限环境下的模型推理等。通过提高推理效率，SPON能够降低计算成本，并使大语言模型在更多实际应用中得以部署。此外，SPON对于理解大语言模型中的知识表示和神经元激活机制也具有一定的理论价值。

📄 摘要（原文）

Activation sparsity offers a compelling route to accelerate large language model (LLM) inference by selectively suppressing hidden activations, yet existing approaches exhibit severe accuracy degradation at high sparsity. We show that this failure stems from representational instability: activation sparsity disrupts input-dependent activation learned during pretraining, inducing distribution shifts in hidden states. We address this issue by reframing activation sparsity as a representational alignment problem and introducing Spontaneous Neurons (SPON), a lightweight mechanism inspired by spontaneous neural activity in biological systems. SPON injects a small set of learnable, input-independent activation vectors that act as persistent representational anchors for sparse computation. These vectors are trained via distribution matching to the dense model and can be absorbed into bias terms after training, incurring negligible inference overhead. Across multiple LLM backbones, SPON consistently restores performance, stabilizes latent representations, and preserves generalization. Our results establish SPON as an effective and principled solution for reliable activation-sparse inference, and offer new insights into knowledge retention in LLMs.