SpikeOPD: Stable On-Policy Distillation for Autoregressive Spiking Language Models

📄 arXiv: 2608.27857v1 📥 PDF

作者: Enqiao Lu, Xingrui Yu, Yiwei Fu, Zhenglin Wan, Pengfei Zhou, Wangbo Zhao, Muqing Jian, Xueyi Zhang, Yang You, Ivor Tsang

分类: cs.AI

发布日期: 2026-08-28

💡 一句话要点

提出SpikeOPD以解决自回归脉冲语言模型的稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 在线蒸馏 自回归模型 知识蒸馏 语言模型 节能计算 模型稳定性

📋 核心要点

  1. 现有的ANN到SNN迁移方法在固定语料上进行蒸馏，导致自生成前缀与教师模型之间存在输出策略不匹配。
  2. SpikeOPD通过在自生成前缀上继续教师监督，结合全KL教师修正和匹配前缀策略锚定，提升了模型的稳定性和适应性。
  3. 在三个不同规模的模型中，SpikeOPD分别提高了0.8、1.7和2.9个点的平均准确性，且保持了稀疏计算特性。

📝 摘要（中文）

脉冲神经网络（SNNs）通过稀疏编码和事件驱动计算为节能语言建模提供了可能，但从零开始训练有效的脉冲语言模型仍然困难。现有的人工神经网络（ANN）到SNN的迁移方法在固定语料前缀上进行蒸馏，而自回归推理依赖于自生成的前缀，导致前缀源不匹配。本文提出SpikeOPD，一个稳定的在线蒸馏框架，通过继续教师对自生成前缀的监督来缓解输出策略不匹配和内部脉冲动态漂移的问题。实验表明，SpikeOPD在多个模型规模上显著提高了准确性，同时保持了稀疏计算特性。

🔬 方法详解

问题定义：本文旨在解决自回归脉冲语言模型在训练过程中面临的输出策略不匹配和内部脉冲动态漂移的问题。现有的蒸馏方法在固定语料上进行，无法适应自生成前缀的动态变化。

核心思路：SpikeOPD的核心思路是通过在线蒸馏，继续利用教师模型对自生成前缀的监督，来减轻输出策略不匹配和动态漂移的影响。这样设计的目的是确保模型在自生成数据上的稳定适应。

技术框架：SpikeOPD的整体架构包括教师模型的全KL修正、匹配前缀策略锚定和逐层脉冲正则化。教师模型提供指导，匹配前缀策略确保输出的一致性，而逐层正则化则限制了适应过程中的发火率偏差。

关键创新：SpikeOPD的主要创新在于其在线蒸馏机制，通过教师模型的持续监督和策略锚定，显著提高了自回归SNN的稳定性。这与传统的固定前缀蒸馏方法形成了鲜明对比。

关键设计：在设计中，SpikeOPD采用了全KL损失函数来减少输出策略不匹配，同时通过匹配前缀策略锚定来限制策略的偏离。此外，逐层脉冲正则化被引入以控制发火率的变化，确保模型在训练过程中的稳定性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SpikeOPD在三个不同规模的模型上分别提高了0.8、1.7和2.9个点的平均准确性，相较于传统的KD SNNs，展现了显著的性能提升，同时保持了稀疏计算的特性，证明了其在实际应用中的有效性。

🎯 应用场景

SpikeOPD的研究成果在自然语言处理、智能对话系统和节能计算等领域具有广泛的应用潜力。通过提高脉冲语言模型的训练稳定性和准确性，能够推动更高效的语言理解和生成技术的发展，尤其是在资源受限的环境中。

📄 摘要（原文）

Spiking neural networks (SNNs) offer a path to energy-efficient language modeling through sparse encoding and event-driven computation, but training capable spiking language models from scratch remains difficult. A practical alternative is ANN-to-SNN migration through knowledge distillation (KD), where a pretrained artificial neural network (ANN) teacher supervises an SNN student. Existing migration approaches distill on fixed corpus prefixes, whereas autoregressive inference conditions on self-generated prefixes, creating prefix-source mismatch. It manifests as output-policy mismatch with the ANN teacher and internal spiking-dynamics drift between self-generated and matched corpus prefixes. On-policy distillation (OPD) offers a natural way to mitigate both manifestations by continuing teacher supervision on self-generated prefixes. We evaluate a teacher-only full-KL variant, Vanilla OPD, via a controlled stress test and observe it may suffer from delayed rollout-feedback collapse. This result shows that on-policy coverage alone does not ensure stable adaptation. Motivated by these findings, we propose SpikeOPD, a stable on-policy distillation framework for autoregressive SNNs that learns from self-generated prefixes while maintaining rollout stability. It applies full-KL teacher correction to reduce output-policy mismatch, while matched-prefix policy anchoring constrains policy departure from the frozen reference SNN on the same prefixes. Layerwise spike regularization further limits firing-rate deviations during on-policy adaptation. Across three model scales, SpikeOPD improves average accuracy over the corresponding KD SNNs by 0.8, 1.7, and 2.9 points at 0.125B, 0.35B, and 1.3B, respectively, while preserving their sparse-compute profiles.