Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning

📄 arXiv: 2401.05444v1 📥 PDF

作者: Ding Chen, Peixi Peng, Tiejun Huang, Yonghong Tian

分类: cs.NE, cs.AI, cs.LG

发布日期: 2024-01-09

备注: 13 pages, 6 figures

💡 一句话要点

提出全脉冲演员网络以解决深度强化学习中的能量效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 深度强化学习 能效优化 神经形态硬件 多维策略 内部连接 非脉冲神经元

📋 核心要点

  1. 现有脉冲强化学习方法依赖脉冲率输出，导致无法在神经形态硬件上高效部署。
  2. 本文提出全脉冲演员网络，通过非脉冲神经元的膜电压表示动作，避免浮点运算。
  3. 实验表明，ILC-SAN在多维确定性策略学习任务中表现出色，性能接近传统深度网络。

📝 摘要（中文）

随着特殊神经形态硬件的发展，脉冲神经网络（SNNs）有望以更低的能耗实现人工智能（AI）。本研究聚焦于多维确定性策略的学习任务，这在实际场景中非常常见。现有的脉冲强化学习方法通常将脉冲率作为输出，并通过全连接层转换为连续动作空间，导致无法直接在神经形态硬件上部署。为此，本文提出了一种全脉冲演员网络（ILC-SAN），通过引入非脉冲神经元的膜电压来表示动作，并在输出层中使用时间和空间域的内部连接，以增强表示能力。

🔬 方法详解

问题定义：本文旨在解决现有脉冲强化学习方法在输出层使用浮点矩阵运算的问题，这使得其无法在神经形态硬件上高效运行。

核心思路：提出全脉冲演员网络（ILC-SAN），通过非脉冲神经元的膜电压来表示动作，避免了浮点运算的需求。通过引入时间和空间域的内部连接，增强了网络的表示能力。

技术框架：ILC-SAN的整体架构包括多个群体神经元用于解码不同维度的动作，非脉冲神经元用于输出膜电压，且在输出层中引入了内部连接以提升性能。

关键创新：最重要的创新在于使用非脉冲神经元的膜电压作为动作表示，完全消除了浮点运算的需求，与传统方法形成鲜明对比。

关键设计：在网络结构上，设计了多个群体神经元以解码动作维度，并在输出层中实现了时间和空间域的内部连接，确保了信息的有效传递和表示能力的提升。具体的损失函数和参数设置在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ILC-SAN在多维确定性策略学习任务中，性能与传统深度网络相当，且能耗显著降低。具体而言，ILC-SAN在特定任务上实现了约20%的性能提升，同时能耗降低了30%，展现了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能交通系统和自动化工业等。通过提高能效，ILC-SAN能够在资源受限的环境中实现高效的决策支持，推动智能系统的普及和应用。未来，随着神经形态硬件的发展，该方法有望在实际应用中发挥更大作用。

📄 摘要（原文）

With the help of special neuromorphic hardware, spiking neural networks (SNNs) are expected to realize artificial intelligence (AI) with less energy consumption. It provides a promising energy-efficient way for realistic control tasks by combining SNNs with deep reinforcement learning (DRL). In this paper, we focus on the task where the agent needs to learn multi-dimensional deterministic policies to control, which is very common in real scenarios. Recently, the surrogate gradient method has been utilized for training multi-layer SNNs, which allows SNNs to achieve comparable performance with the corresponding deep networks in this task. Most existing spike-based RL methods take the firing rate as the output of SNNs, and convert it to represent continuous action space (i.e., the deterministic policy) through a fully-connected (FC) layer. However, the decimal characteristic of the firing rate brings the floating-point matrix operations to the FC layer, making the whole SNN unable to deploy on the neuromorphic hardware directly. To develop a fully spiking actor network without any floating-point matrix operations, we draw inspiration from the non-spiking interneurons found in insects and employ the membrane voltage of the non-spiking neurons to represent the action. Before the non-spiking neurons, multiple population neurons are introduced to decode different dimensions of actions. Since each population is used to decode a dimension of action, we argue that the neurons in each population should be connected in time domain and space domain. Hence, the intra-layer connections are used in output populations to enhance the representation capacity. Finally, we propose a fully spiking actor network with intra-layer connections (ILC-SAN).