LongSpike: Fractional Order Spiking State Space Models for Efficient Long Sequence Learning

📄 arXiv: 2606.12895 📥 PDF

作者: Xinrui He, Qiyu Kang, Xuhao Li, Zheng-Jun Zha

分类: cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出LongSpike以解决长序列学习中的记忆瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 长序列学习 分数阶建模 状态空间模型 长记忆核 计算效率 自然语言处理 语音识别

📋 核心要点

  1. 现有的脉冲神经网络架构依赖一阶ODE，导致无法有效捕捉长序列中的复杂依赖关系。
  2. LongSpike通过引入分数阶状态空间建模，扩展了传统的神经元动态模型，增强了模型的记忆能力。
  3. 在多个基准测试中，LongSpike在准确性上超过了现有的SNN，且计算效率得到了提升。

📝 摘要（中文）

脉冲神经网络（SNNs）因其生物学上的合理性和在处理序列数据时的能效而受到重视。然而，现有的SNN架构通常依赖于一阶常微分方程（ODEs）来控制神经元状态的转变，这种一阶假设导致了“无记忆”的瓶颈，限制了模型捕捉长序列任务中复杂长程依赖的能力。本文提出了LongSpike，一个将控制理论中的分数阶状态空间建模（f-SSM）集成到脉冲神经网络中的新框架。通过将传统的整数阶SSM扩展到分数阶微积分领域，LongSpike实现了神经元动态与长记忆核的层次化集成。实验证明，LongSpike在准确性上超越了最先进的SNN，同时保持了稀疏突触计算的优势。

🔬 方法详解

问题定义：本文旨在解决现有脉冲神经网络在长序列学习中因一阶ODE假设带来的记忆瓶颈问题，限制了模型对复杂长程依赖的捕捉能力。

核心思路：LongSpike的核心思路是将分数阶状态空间建模引入脉冲神经网络，通过分数阶微积分的方式增强神经元动态的记忆能力，从而克服一阶模型的局限性。

技术框架：LongSpike的整体架构包括分数阶状态空间模型的构建、神经元动态的层次化集成以及高效的并行训练机制，确保在处理长序列时的计算效率。

关键创新：LongSpike的主要创新在于将分数阶微积分应用于脉冲神经网络，突破了传统整数阶模型的限制，使得模型能够有效捕捉长程依赖。

关键设计：在设计上，LongSpike采用了特定的损失函数以优化长序列学习，同时在网络结构中引入了长记忆核，以支持复杂动态的建模。具体的参数设置和训练策略也经过精心设计，以确保模型的高效性和准确性。

📊 实验亮点

在多个基准测试中，LongSpike在准确性上显著优于现有的最先进SNN，尤其是在长范围竞技场（LRA）、大规模WikiText-103和语音命令数据集上，展示了其在稀疏突触计算下的高效性能，具体提升幅度未知。

🎯 应用场景

LongSpike的研究成果在多个领域具有潜在应用价值，包括自然语言处理、语音识别和时间序列预测等。其高效的长序列学习能力可以帮助提升这些领域中模型的性能，尤其是在处理复杂依赖关系时，未来可能推动更智能的系统发展。

📄 摘要（原文）

Spiking Neural Networks (SNNs) are well-regarded for their biological plausibility and energy efficiency in processing sequential data. However, dominant SNN architectures typically rely on first-order Ordinary Differential Equations (ODEs) to govern neuronal state transitions. This first-order assumption imposes a "memoryless" bottleneck, limiting the model's capacity to capture the complex, long-range dependencies inherent in long-sequence tasks. In this work, we propose LongSpike, a novel SNN framework that integrates fractional-order State-Space Modeling, or f-SSM, from control theory into the spiking domain. By extending traditional integer-order SSMs to the fractional-calculus regime, LongSpike enables the hierarchical integration of neuronal dynamics with long-memory kernels. To mitigate the computational overhead and parallelization challenges typically associated with fractional operators, we leverage a state-space formulation that supports efficient, parallel training. Empirical evaluations on challenging benchmarks, including Long Range Arena (LRA), large-scale WikiText-103, and Speech Commands, demonstrate that LongSpike outperforms state-of-the-art SNNs in accuracy while preserving sparse synaptic computation. The code is available atthis https URL.