BSViT: A Burst Spiking Vision Transformer for Expressive and Efficient Visual Representation Learning

📄 arXiv: 2604.23165 📥 PDF

作者: Hongxiang Peng, Dewei Bai, Hong Qu

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出BSViT以解决现有脉冲视觉变换器的效率与表现问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲视觉变换器 节能学习 自注意力机制 双通道设计 结构感知稀疏性 事件驱动视觉 神经形态硬件

📋 核心要点

  1. 现有脉冲视觉变换器在信息容量和计算效率方面存在局限，影响了其在视觉学习中的应用效果。
  2. BSViT通过双通道脉冲自注意力机制（DBSSA）解决了信息容量不足和密集交互的问题，提升了表示能力。
  3. 实验结果显示，BSViT在静态和事件驱动的视觉基准测试中，准确性显著高于现有方法，同时保持了良好的能效。

📝 摘要（中文）

脉冲视觉变换器（S-ViTs）为节能视觉学习提供了有前景的框架，但现有设计受限于二进制脉冲编码的信息容量和全局自注意力引入的密集令牌交互。为了解决这些挑战，本文提出了BSViT，一种基于脉冲的视觉变换器，采用双通道脉冲自注意力机制（DBSSA）。DBSSA使用二进制脉冲编码查询，使用突发脉冲编码键，以增强表示能力。值通道采用双重兴奋和抑制的二进制通道，支持符号调制和更丰富的脉冲交互。整个注意力操作保持加法计算，确保与节能神经形态硬件的兼容性。此外，提出的补丁邻接掩蔽策略限制注意力集中在局部邻域，从而实现结构感知的稀疏性和减少计算开销。大量实验表明，BSViT在准确性上始终优于现有脉冲变换器，同时保持竞争力的能效。

🔬 方法详解

问题定义：本文旨在解决现有脉冲视觉变换器在信息容量和计算效率方面的不足，尤其是二进制脉冲编码的限制和全局自注意力带来的计算开销。

核心思路：提出双通道脉冲自注意力机制（DBSSA），通过使用二进制脉冲编码查询和突发脉冲编码键，增强了模型的表示能力，同时保持加法计算的特性，以适应节能硬件。

技术框架：BSViT的整体架构包括DBSSA模块、值通道的双重兴奋和抑制机制，以及补丁邻接掩蔽策略，确保注意力集中在局部区域，减少计算负担。

关键创新：最重要的创新在于DBSSA机制的设计，它通过结合二进制和突发脉冲编码，显著提升了信息表示能力，区别于传统的全局自注意力机制。

关键设计：在网络结构中，采用双通道设计以实现符号调制，损失函数设计为加法计算，确保与神经形态硬件的兼容性，同时引入补丁邻接掩蔽策略以增强局部特征的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BSViT在多个静态和事件驱动的视觉基准测试中，准确性提升超过了现有脉冲变换器，且在能效方面保持竞争力，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等需要高效视觉处理的场景。通过提升脉冲视觉变换器的表现，未来可以在更广泛的视觉任务中实现更高的能效和准确性，推动智能视觉系统的发展。

📄 摘要（原文）

Spiking Vision Transformers (S-ViTs) offer a promising framework for energy-efficient visual learning. However, existing designs remain limited by two fundamental issues: the restricted information capacity of binary spike coding and the dense token interactions introduced by global self-attention. To address these challenges, this work proposes BSViT, a burst spiking-driven Vision Transformer featuring a Dual-Channel Burst Spiking Self-Attention (DBSSA) mechanism. DBSSA encodes queries with binary spikes and keys with burst spikes to enhance representational capacity. The value pathway adopts dual excitatory and inhibitory binary channels, enabling signed modulation and richer spike interactions. Importantly, the entire attention operation preserves addition-only computation, ensuring compatibility with energy-efficient neuromorphic hardware. To further reduce spike activity and incorporate spatial priors, a patch adjacency masking strategy is introduced to restrict attention to local neighborhoods, resulting in structure-aware sparsity and reduced computational overhead. In addition, burst spike coding is systematically integrated across the network to increase spike-level representational capacity beyond conventional binary spiking. Extensive experiments on both static and event-based vision benchmarks demonstrate that BSViT consistently outperforms existing spiking Transformers in accuracy while maintaining competitive energy efficiency.