Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving

📄 arXiv: 2402.05146v1 📥 PDF

作者: Wensheng Su, Zhenni Li, Minrui Xu, Jiawen Kang, Dusit Niyato, Shengli Xie

分类: cs.LG, cs.AI, cs.RO

发布日期: 2024-02-07

💡 一句话要点

提出动态结构化剪枝方法以压缩深度强化学习网络

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 动态剪枝 结构化剪枝 自动驾驶 模型压缩 神经网络 组稀疏正则化 性能优化

📋 核心要点

  1. 现有的深度强化学习模型在自动驾驶中面临高内存和计算需求的问题，限制了其在资源受限设备上的应用。
  2. 本文提出了一种动态结构化剪枝方法，通过逐步移除不重要的神经元来压缩DRL模型，提高其效率。
  3. 实验结果显示，该方法在多个环境中实现了93%的神经元和96%的权重压缩，且性能保持稳定。

📝 摘要（中文）

深度强化学习（DRL）在复杂的自动驾驶场景中取得了显著成功。然而，DRL模型的高内存消耗和计算需求限制了其在资源受限的自动驾驶设备中的广泛应用。结构化剪枝被认为是压缩和加速DRL模型的有效方法，但评估参数（如神经元）对DRL模型贡献的挑战依然存在。本文提出了一种新颖的动态结构化剪枝方法，在训练阶段逐步移除DRL模型中不重要的神经元。该方法包括两个步骤：使用组稀疏正则化器训练DRL模型，并通过动态剪枝阈值移除不重要的神经元。实验结果表明，所提方法在多个离散控制和连续环境中与现有DRL剪枝方法具有竞争力，能够有效压缩93%的神经元和96%的权重，同时保持较高的性能。

🔬 方法详解

问题定义：本文旨在解决深度强化学习模型在自动驾驶应用中的高内存和计算消耗问题。现有的结构化剪枝方法在评估神经元对模型贡献方面存在困难，导致剪枝效果不理想。

核心思路：论文提出的动态结构化剪枝方法通过在训练阶段逐步移除不重要的神经元，结合组稀疏正则化器，能够有效识别并去除冗余神经元，从而提升模型的效率。

技术框架：该方法主要包括两个阶段：首先使用组稀疏正则化器训练DRL模型，以识别重要神经元；然后根据动态剪枝阈值移除不重要的神经元，利用二进制掩码实现剪枝。

关键创新：最重要的技术创新在于引入了动态剪枝阈值和组稀疏正则化器，使得剪枝过程更加灵活和高效，能够适应不同的训练阶段和模型需求。

关键设计：在损失函数中引入了对冗余神经元组的惩罚，确保模型在剪枝过程中保持高性能，同时设计了动态调整的剪枝阈值，以适应训练过程中的变化。该方法能够在不显著降低准确率的情况下，显著减少模型的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在四个具有挑战性的DRL环境中有效压缩了93%的神经元和96%的权重，同时仅有轻微的准确率下降。这一性能在与现有剪枝方法的比较中显示出竞争力，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和其他需要高效深度学习模型的嵌入式系统。通过压缩DRL模型，能够在资源受限的设备上实现更高效的决策和控制，推动智能交通和自动化技术的发展。

📄 摘要（原文）

Deep reinforcement learning (DRL) has shown remarkable success in complex autonomous driving scenarios. However, DRL models inevitably bring high memory consumption and computation, which hinders their wide deployment in resource-limited autonomous driving devices. Structured Pruning has been recognized as a useful method to compress and accelerate DRL models, but it is still challenging to estimate the contribution of a parameter (i.e., neuron) to DRL models. In this paper, we introduce a novel dynamic structured pruning approach that gradually removes a DRL model's unimportant neurons during the training stage. Our method consists of two steps, i.e. training DRL models with a group sparse regularizer and removing unimportant neurons with a dynamic pruning threshold. To efficiently train the DRL model with a small number of important neurons, we employ a neuron-importance group sparse regularizer. In contrast to conventional regularizers, this regularizer imposes a penalty on redundant groups of neurons that do not significantly influence the output of the DRL model. Furthermore, we design a novel structured pruning strategy to dynamically determine the pruning threshold and gradually remove unimportant neurons with a binary mask. Therefore, our method can remove not only redundant groups of neurons of the DRL model but also achieve high and robust performance. Experimental results show that the proposed method is competitive with existing DRL pruning methods on discrete control environments (i.e., CartPole-v1 and LunarLander-v2) and MuJoCo continuous environments (i.e., Hopper-v3 and Walker2D-v3). Specifically, our method effectively compresses $93\%$ neurons and $96\%$ weights of the DRL model in four challenging DRL environments with slight accuracy degradation.