SparseGDN: Chunk Sparse in Linear Attention
作者: Jiedong Zhuang, Peng Zhao, Jialin Tang, Haoji Hu
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-10-30
💡 一句话要点
提出SparseGDN以解决长上下文序列建模的计算瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 序列建模 长上下文 计算效率 动态选择 增量网络
📋 核心要点
- 现有的GDN方法在处理长上下文时，面临密集计算和高内存消耗的挑战，导致效率低下。
- SparseGDN通过结合结构化近似和动态事件选择，优化了块内计算，显著提高了序列建模的效率。
- 在多个任务上，SparseGDN展示了显著的性能提升，预填充速度相比传统方法提高了1.50-1.94倍。
📝 摘要（中文）
门控增量网络（GDNs）提供了线性时间的序列建模能力，但由于密集的块内计算、递归状态更新和中间状态存储，长上下文的预填充仍然成本高昂。我们提出了SparseGDN，这是一种硬件感知框架，结合了结构化的块内近似和输入依赖的递归事件选择，同时为每个标记生成输出。块邻接求解器减少了局部增量求解的计算，而动态选择器在头对之间分配递归更新预算。GPU实现仅对选定事件进行更新，并使用紧凑的状态快照和组局部交互重建标记输出，从而减少计算和内存流量。我们在Qwen3.5-4B和Qwen3.5-9B上评估SparseGDN，涵盖RULER任务和4K到128K的上下文长度。SparseGDN在平均保留约29%的递归事件的情况下，实现了相较于原生FLA内核的1.50-1.94倍的GDN核心预填充加速。
🔬 方法详解
问题定义：本论文旨在解决长上下文序列建模中的计算瓶颈问题，现有的GDN方法在处理长序列时需要大量的计算资源和内存，导致效率低下。
核心思路：论文提出SparseGDN，通过结构化的块内近似和输入依赖的递归事件选择，优化了计算流程，减少了不必要的计算和内存占用。
技术框架：SparseGDN的整体架构包括块邻接求解器和动态选择器，前者用于减少局部增量求解的计算，后者则在头对之间分配递归更新预算。GPU实现仅对选定事件进行更新，并通过紧凑的状态快照重建输出。
关键创新：SparseGDN的主要创新在于结合了结构化近似与动态选择机制，使得在保持模型性能的同时，显著降低了计算和内存需求，这与传统GDN方法的密集计算方式形成鲜明对比。
关键设计：在设计中，SparseGDN采用了动态选择器来优化递归更新的预算分配，并通过块邻接求解器来减少计算复杂度，确保在高效的同时保持较高的模型性能。具体的参数设置和损失函数设计尚未详细说明。
🖼️ 关键图片
📊 实验亮点
SparseGDN在多个RULER任务中表现出色，平均保留约29%的递归事件，实现了1.50-1.94倍的预填充速度提升，相比于传统的GDN方法，显著提高了计算效率和内存利用率。
🎯 应用场景
SparseGDN的研究成果在需要处理长序列的自然语言处理、时间序列预测等领域具有广泛的应用潜力。通过提高序列建模的效率，该方法能够支持更复杂的模型和更长的上下文，推动相关技术的发展。
📄 摘要（原文）
Gated Delta Networks (GDNs) offer linear-time sequence modeling, yet long-context prefill remains costly due to dense intra-chunk computation, recurrent-state updates, and intermediate state storage. We introduce SparseGDN, a hardware-aware framework that combines structured intra-chunk approximation with input-dependent recurrent-event selection while producing outputs for every token. A block-adjacent solver reduces local Delta-solve computation, while a dynamic selector allocates recurrent-update budgets across head pairs. The GPU implementation materializes updates only for selected events and reconstructs token outputs using compact state snapshots and group-local interactions, reducing computation and memory traffic. We evaluate SparseGDN on Qwen3.5-4B and Qwen3.5-9B across RULER tasks and context lengths from 4K to 128K. Retaining approximately 29% of recurrent events on average, SparseGDN achieves 1.50-1.94x GDN-core prefill speedups over native FLA kernels, including online selection overhead.