Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization

📄 arXiv: 2606.26002v1 📥 PDF

作者: Kamar Hibatallah Baghdadi, Kawther Guoual Belhamidi, Sara Belhadj, Aissa Boulmerka, Nadir Farhi

分类: cs.LG, cs.AI, math.OC

发布日期: 2026-06-24

💡 一句话要点

提出HiReLC框架以实现深度神经网络的自动化压缩

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度学习 模型压缩 强化学习 剪枝 量化 计算机视觉 自动化

📋 核心要点

  1. 现有的深度神经网络压缩方法在剪枝和量化方面缺乏有效的自动化策略，导致性能损失和计算成本高。
  2. HiReLC框架通过层次化的强化学习方法，结合低级和高级代理，实现了对深度神经网络的联合量化和结构化剪枝。
  3. 实验结果显示，HiReLC在多个基准测试中实现了显著的压缩比和较小的准确率下降，验证了其有效性。

📝 摘要（中文）

本文提出了HiReLC，一个层次化的集成强化学习框架，用于深度神经网络的自动化联合量化和结构化剪枝。该框架在两个抽象层次上分解压缩搜索：低级代理（LLAs）独立操作每个模块，选择跨越多离散动作空间的每个内核配置，而高级代理（HLAs）通过基于Fisher信息的敏感性估计协调全局预算分配。为降低策略评估的计算成本，采用迭代主动学习循环，将代理引导的强化学习优化与后压缩微调交织在一起。实验结果表明，该方法在Vision Transformer和CNN基准上实现了5.99至6.72倍的参数存储压缩比，并在某些设置中获得了3.83%的准确率提升。

🔬 方法详解

问题定义：本文旨在解决深度神经网络压缩中的剪枝和量化问题，现有方法往往缺乏自动化和灵活性，导致性能损失和计算开销大。

核心思路：HiReLC框架通过层次化的强化学习策略，将压缩过程分为低级和高级代理，分别负责局部和全局的优化，从而实现高效的压缩。

技术框架：框架包括低级代理（LLAs）和高级代理（HLAs），LLAs独立选择每个模块的配置，而HLAs则通过集成投票协调全局预算分配，使用Fisher信息进行敏感性估计。

关键创新：最重要的创新在于层次化的政策分解和敏感性引导，这使得压缩过程更加高效和灵活，相较于传统方法具有更好的性能和适应性。

关键设计：采用轻量级的多层感知机（MLP）作为代理，进行奖励塑造而非替代最终评估，设计了迭代主动学习循环以降低计算成本，并在冷启动阶段使用logit-MSE代理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HiReLC在Vision Transformer和CNN基准上实现了5.99至6.72倍的参数存储压缩比，同时在某些设置中获得了3.83%的准确率提升，验证了其在压缩效率和性能保持方面的优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等需要深度学习模型的场景，尤其是在资源受限的设备上。通过有效的模型压缩，HiReLC能够提升模型的部署效率和响应速度，具有重要的实际价值和未来影响。

📄 摘要（原文）

We present HiReLC, a hierarchical ensemble-reinforcement learning framework for automated joint quantization and structured pruning of deep neural networks. The framework decomposes the compression search across two levels of abstraction: low-level agents (LLAs) operate independently per block, selecting per-kernel configurations over a multi-discrete action space spanning bitwidth, pruning keep-ratio, quantization type, and granularity, while high-level agents (HLAs) coordinate global budget allocation via ensemble voting guided by Fisher Information-based sensitivity estimates. To mitigate the computational cost of policy evaluation, an iterative active learning loop interleaves surrogate-guided RL optimization with post-compression fine-tuning, using a lightweight MLP surrogate to amortize expensive evaluations and a logit-MSE proxy during cold-start. The surrogate is used for reward shaping rather than as a replacement for final post-compression evaluation. The controller is architecture-agnostic by design, with a modular layer abstraction decoupling the RL environment from the underlying network topology. Experiments across Vision Transformer and CNN benchmarks demonstrate effective parameter-storage compression ratios of 5.99 - 6.72$\times$ with a 3.83 % gain in one setting and 0.55 - 5.62 % accuracy drops elsewhere, supporting hierarchical policy decomposition and sensitivity-aware guidance as practical design choices for joint neural network compression.