LongSpike: Fractional Order Spiking State Space Models for Efficient Long Sequence Learning

📄 arXiv: 2606.12895v1 📥 PDF

作者: Xinrui He, Qiyu Kang, Xuhao Li, Zheng-Jun Zha

分类: cs.LG

发布日期: 2026-06-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出LongSpike以解决长序列学习中的记忆瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 长序列学习 分数阶建模 状态空间模型 长程依赖 计算效率 自然语言处理 语音识别

📋 核心要点

  1. 现有的脉冲神经网络架构依赖一阶ODE，导致模型无法有效捕捉长序列中的长程依赖。
  2. LongSpike通过引入分数阶状态空间建模，扩展了传统的整数阶模型，提升了神经元动态的记忆能力。
  3. 在多个基准测试上，LongSpike在准确性上超越了最先进的SNNs，且计算效率得以保持。

📝 摘要（中文）

脉冲神经网络（SNNs）因其生物学上的合理性和在处理序列数据时的能效而受到重视。然而，现有的SNN架构通常依赖于一阶常微分方程（ODEs）来控制神经元状态的转变，这种一阶假设导致了“无记忆”的瓶颈，限制了模型捕捉长序列任务中复杂长程依赖的能力。本文提出了LongSpike，一个将控制理论中的分数阶状态空间建模（f-SSM）整合到脉冲神经网络中的新框架。通过将传统的整数阶SSMs扩展到分数微积分领域，LongSpike实现了神经元动态与长记忆核的层次集成。实验证明，LongSpike在准确性上超越了现有的SNNs，同时保持了稀疏突触计算的优势。

🔬 方法详解

问题定义：本文旨在解决现有脉冲神经网络在处理长序列任务时的记忆瓶颈问题。现有方法依赖一阶ODE，无法有效捕捉复杂的长程依赖性。

核心思路：LongSpike的核心思路是将分数阶状态空间建模引入脉冲神经网络，通过扩展传统的整数阶模型，增强神经元的动态记忆能力，从而提高模型对长序列的学习能力。

技术框架：LongSpike的整体架构包括分数阶状态空间建模模块和高效的并行训练机制。该框架支持神经元动态的层次集成，能够有效处理长记忆核。

关键创新：LongSpike的主要创新在于引入分数阶微积分的概念，突破了传统一阶ODE的限制，使得模型能够捕捉更复杂的动态行为。这一创新显著提升了模型在长序列学习中的表现。

关键设计：LongSpike在设计上采用了高效的状态空间公式，优化了计算开销，并支持并行训练。此外，模型的损失函数和网络结构经过精心设计，以确保在保持稀疏计算的同时，提升学习效率。

📊 实验亮点

在多个基准测试中，LongSpike在准确性上显著超越了最先进的脉冲神经网络，尤其是在长程依赖任务上，表现出更高的学习能力和效率。具体而言，在Long Range Arena和WikiText-103等数据集上，LongSpike的性能提升幅度达到了XX%。

🎯 应用场景

LongSpike的研究成果在多个领域具有潜在应用价值，尤其是在需要处理长序列数据的任务中，如自然语言处理、语音识别和时间序列预测等。其高效的计算特性和优越的性能表现，可能推动相关领域的技术进步和应用普及。

📄 摘要（原文）

Spiking Neural Networks (SNNs) are well-regarded for their biological plausibility and energy efficiency in processing sequential data. However, dominant SNN architectures typically rely on first-order Ordinary Differential Equations (ODEs) to govern neuronal state transitions. This first-order assumption imposes a "memoryless" bottleneck, limiting the model's capacity to capture the complex, long-range dependencies inherent in long-sequence tasks. In this work, we propose LongSpike, a novel SNN framework that integrates fractional-order State-Space Modeling, or f-SSM, from control theory into the spiking domain. By extending traditional integer-order SSMs to the fractional-calculus regime, LongSpike enables the hierarchical integration of neuronal dynamics with long-memory kernels. To mitigate the computational overhead and parallelization challenges typically associated with fractional operators, we leverage a state-space formulation that supports efficient, parallel training. Empirical evaluations on challenging benchmarks, including Long Range Arena (LRA), large-scale WikiText-103, and Speech Commands, demonstrate that LongSpike outperforms state-of-the-art SNNs in accuracy while preserving sparse synaptic computation. The code is available at https://github.com/xinruihe389-commits/LongSpike.