Noisy group neurons with synchronous resetting for high-performance spiking neural networks
作者: Yajie Zhai, Yanmei Kang, Meng Li, Zigang Huang
分类: cs.CV
发布日期: 2026-08-18
💡 一句话要点
提出噪声群神经元模型以解决深度脉冲神经网络训练难题
🎯 匹配领域: 支柱八:物理动画 (Physics-based Animation)
关键词: 脉冲神经网络 噪声群神经元 同步重置 深度学习 神经形态计算
📋 核心要点
- 现有脉冲神经网络在训练深度模型时面临时空信息损失和梯度不匹配的挑战,影响了性能提升。
- 本文提出噪声群神经元(NGN)模型,利用群体级同步重置和神经随机性来增强计算能力。
- 在CIFAR10-DVS等多个数据集上进行实验,NGN方法实现了87.35%的准确率,显示出显著的性能提升。
📝 摘要(中文)
脉冲神经网络(SNNs)因其生物启发的神经动态和事件驱动的通信方式,在近年来取得了显著进展。然而,训练深度SNNs仍然面临时空信息损失和梯度不匹配等挑战。为此,本文提出了一种噪声群神经元(NGN)模型,结合了群体级同步重置和神经随机性作为基本计算机制,并将其与基于均场动力学的反向传播学习相结合。通过理论分析和在多个数据集上的实验验证,本文展示了NGN方法的优势,最终在CIFAR10-DVS数据集上实现了87.35%的准确率,支持NGN作为高性能神经形态计算的实用方法。
🔬 方法详解
问题定义:本文旨在解决深度脉冲神经网络训练中的时空信息损失和梯度不匹配问题。现有方法在处理复杂数据时,往往无法有效捕捉时序信息,导致性能下降。
核心思路:提出噪声群神经元(NGN)模型,通过引入群体级同步重置和神经随机性,增强网络的动态响应能力,从而更好地处理时序信息。
技术框架:NGN方法结合了NGN模型与基于均场动力学的反向传播学习,整体架构包括数据输入、神经元动态计算、同步重置机制和反向传播学习四个主要模块。
关键创新:NGN模型的最大创新在于其群体级同步重置机制和神经随机性,这与传统脉冲神经网络的单一神经元动态计算方式形成了本质区别,提升了网络的学习能力。
关键设计:在模型设计中,采用了特定的损失函数以适应脉冲信号的特点,并在网络结构中引入了随机性参数,以增强模型的泛化能力。
📊 实验亮点
在CIFAR10-DVS数据集上,NGN方法实现了87.35%的准确率,且在10个推理时间步内完成,显示出相较于传统方法的显著性能提升,验证了其在高性能神经形态计算中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、实时视频处理等需要快速响应和高效计算的场景。通过提高脉冲神经网络的训练效率和性能,未来可在神经形态计算和类脑智能系统中发挥重要作用。
📄 摘要(原文)
Spiking neural networks (SNNs), characterized by bio-inspired neuronal dynamics and event-driven communication, have attained significant progress in recent years. Nevertheless, training deep SNNs remains challenging due to spatiotemporal information loss and gradient mismatching. To simultaneously address these issues, we propose a noisy group neuron (NGN) model, which incorporates population-level synchronous resetting and neural stochasticity as fundamental computational mechanisms. We then develop the NGN method as a framework that combines the NGN model with backpropagation learning based on mean-field dynamics. We demonstrate the advantages of the NGN method through theoretical analysis and experimental validation on CIFAR-10, CIFAR-100, Tiny-ImageNet, DVS-Gesture, N-Caltech101, and CIFAR10-DVS. The proposed approach achieves an accuracy of 87.35% on CIFAR10-DVS within 10 inference time steps. These results support NGN as a practical approach to high-performance neuromorphic computing.