Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

📄 arXiv: 2608.12149v1 📥 PDF

作者: Zunhai Su, Bohan Sun, Xialie Zhuang, Shuibai Zhang, He Xiao, Jing Xiong, Hengyuan Zhang, Zhongzhu Zhou, Tiantian Zhang, Ngai Wong, Chuan-Wei Kuo

分类: cs.CL

发布日期: 2026-08-12

备注: Under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出对混合线性注意力大语言模型中大激活的系统研究

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 混合线性注意力 大激活 前注意力尖峰 间尖峰平台 模型优化 自然语言处理

📋 核心要点

  1. 现有的混合线性注意力模型在处理大规模数据时，激活模式的变化尚未得到充分理解，导致性能优化受限。
  2. 论文提出了一种系统的分析方法，揭示了大激活在全注意力层前的尖峰和在层间的持续平台现象，提供了新的理解框架。
  3. 实验结果表明，经过控制的预训练，前注意力尖峰和间尖峰平台在早期就会出现，并且对输出门控的响应不对称，显示出显著的激活模式变化。

📝 摘要（中文）

本文首次系统研究了混合线性注意力大语言模型中的大激活（MAs），揭示了两种与架构对齐的形态：在全注意力层之前，大激活会迅速出现，形成前注意力尖峰（PAS）；而在相邻的线性注意力层中，大激活可以持续存在，形成间尖峰平台（ISP）。随着全注意力的密度增加，连续的PAS通过ISP变得更加连接，最终恢复全注意力大语言模型的稳定MA形态。通过对多种线性注意力架构和混合配置的实验，验证了这一组织结构的普遍性，并探讨了GDN基础混合模型的预训练对这两种形态的影响。

🔬 方法详解

问题定义：本文旨在解决混合线性注意力大语言模型中大激活（MAs）行为的理解不足问题，现有方法未能充分揭示其在不同层次间的动态变化与影响。

核心思路：通过系统分析不同架构中的大激活模式，论文提出了前注意力尖峰（PAS）和间尖峰平台（ISP）的概念，强调其在全注意力层前后的重要性和相互关系。

技术框架：研究涵盖了五种线性注意力架构、六种混合配置以及五个数据领域，采用控制预训练的方法，分析大激活的出现和响应机制。

关键创新：论文的主要创新在于首次系统性地揭示了大激活的两种形态及其在不同架构中的普遍性，提供了新的理解和优化方向。

关键设计：在实验中，使用了GDN基础的混合模型，设置了不同的参数和门控机制，观察到全注意力输出门控显著降低了大激活的绝对幅度，但未消除其层间组织结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在控制预训练的条件下，前注意力尖峰和间尖峰平台在早期就显著出现，且全注意力输出门控对其绝对幅度的影响显著，表明模型的激活模式具有重要的层次组织特征。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够为大语言模型的设计与优化提供新的思路，提升模型在复杂任务中的表现。未来，理解大激活的动态变化可能会推动更高效的模型架构开发。

📄 摘要（原文）

We present the first systematic study of Massive activations (MAs) in layer-interleaved HLA LLMs and uncover two architecture-aligned morphologies: MAs consistently spike immediately before full attention layers, forming pre-attention spikes (PAS), and can persist through intervening linear attention layers, giving rise to inter-spike plateaus (ISP). As full attention becomes denser, successive PAS become increasingly connected through ISP, ultimately recovering the stable MA morphology of full attention LLMs. We establish the recurrence of this organization across five linear attention architectures, six hybridization configurations, five data domains, and representative open-source hybrid models spanning 1.2B to 397B total parameters. Controlled pretraining of GDN-based hybrids at scales up to 1.3B shows that both morphologies emerge early and respond asymmetrically to output gating: full attention output gating strongly attenuates their absolute magnitudes without eliminating their layerwise organization, whereas removing GDN gates yields comparatively modest amplification. Mechanistically, our systematic-outlier analysis supports a shared lifecycle account governed by the timing of MA cancellation. PAS follows a localized write-sink-cancel process, while the extended persistence of ISP is consistent with delayed cancellation. At the full attention limit, this account recovers the stable MA morphology characteristic of full attention LLMs. Our code is available at https://github.com/StartluxLabs/Massive-Activations-HLA.