EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks
作者: Ziming Wang, Ziling Wang, Huaning Li, Lang Qin, Runhao Jiang, De Ma, Huajin Tang
分类: cs.CV, cs.AI, cs.NE
发布日期: 2024-03-19 (更新: 2024-08-24)
备注: Accepted by ECCV2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出EAS-SNN以解决事件摄像头自适应采样问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 事件摄像头 脉冲神经网络 自适应采样 物体检测 深度学习
📋 核心要点
- 现有方法主要优化时空表示，未能有效解决事件摄像头中的自适应事件采样问题。
- 本文提出了一种结合递归卷积脉冲神经网络的自适应采样模块，形成端到端可学习框架。
- 在Gen1数据集上，方法实现了4.4%的mAP提升，同时参数减少38%，仅需三次时间步。
📝 摘要（中文）
事件摄像头因其高动态范围和时间分辨率，适合在运动模糊和复杂光照条件下进行物体检测。然而，现有方法主要集中于优化时空表示，未能有效解决自适应事件采样问题。本文提出了一种新颖的自适应采样模块，结合递归卷积脉冲神经网络（SNN），实现了端到端的可学习框架。此外，引入了残差潜在丢弃（RPD）和脉冲感知训练（SAT）以调节潜在分布，解决脉冲采样模块中的性能下降问题。实验证明，该方法在神经形态检测数据集上优于现有的尖端脉冲方法，参数更少且时间步数更少。
🔬 方法详解
问题定义：本文旨在解决事件摄像头在物体检测中自适应事件采样不足的问题。现有方法多集中于时空表示优化，未能有效处理动态场景中的事件采样。
核心思路：本文的核心思路是利用脉冲神经元的神经动态特性，设计自适应采样模块，以实现更高效的事件处理。通过引入递归卷积SNN，结合时间记忆机制，形成端到端的学习框架。
技术框架：整体架构包括自适应采样模块、递归卷积SNN和潜在调节机制。自适应采样模块负责动态调整事件采样率，递归卷积SNN用于特征提取，而潜在调节机制则通过RPD和SAT来优化潜在分布。
关键创新：最重要的创新在于提出了自适应采样模块和结合RPD与SAT的潜在调节机制。这些创新使得脉冲神经网络在处理事件数据时更具效率和准确性。
关键设计：在参数设置上，采用了较少的网络参数和时间步数，具体设计包括RPD和SAT的损失函数，以确保潜在分布的稳定性和性能的提升。网络结构上，递归卷积层的设计增强了时间特征的捕捉能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EAS-SNN在Gen1数据集上实现了4.4%的mAP提升，相较于现有尖端脉冲方法，参数减少38%，且仅需三次时间步，展现出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人视觉和实时监控等场景，能够在复杂环境中实现高效的物体检测。通过自适应事件采样，提升了系统的响应速度和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Event cameras, with their high dynamic range and temporal resolution, are ideally suited for object detection, especially under scenarios with motion blur and challenging lighting conditions. However, while most existing approaches prioritize optimizing spatiotemporal representations with advanced detection backbones and early aggregation functions, the crucial issue of adaptive event sampling remains largely unaddressed. Spiking Neural Networks (SNNs), which operate on an event-driven paradigm through sparse spike communication, emerge as a natural fit for addressing this challenge. In this study, we discover that the neural dynamics of spiking neurons align closely with the behavior of an ideal temporal event sampler. Motivated by this insight, we propose a novel adaptive sampling module that leverages recurrent convolutional SNNs enhanced with temporal memory, facilitating a fully end-to-end learnable framework for event-based detection. Additionally, we introduce Residual Potential Dropout (RPD) and Spike-Aware Training (SAT) to regulate potential distribution and address performance degradation encountered in spike-based sampling modules. Empirical evaluation on neuromorphic detection datasets demonstrates that our approach outperforms existing state-of-the-art spike-based methods with significantly fewer parameters and time steps. For instance, our method yields a 4.4\% mAP improvement on the Gen1 dataset, while requiring 38\% fewer parameters and only three time steps. Moreover, the applicability and effectiveness of our adaptive sampling methodology extend beyond SNNs, as demonstrated through further validation on conventional non-spiking models. Code is available at https://github.com/Windere/EAS-SNN.