RL-MUL 2.0: Multiplier Design Optimization with Parallel Deep Reinforcement Learning and Space Reduction

📄 arXiv: 2404.00639v2 📥 PDF

作者: Dongsheng Zuo, Jiadong Zhu, Yikang Ouyang, Yuzhe Ma

分类: cs.AR, cs.LG

发布日期: 2024-03-31 (更新: 2024-12-27)

备注: Accepted by TODAES 2025

💡 一句话要点

提出RL-MUL 2.0以优化乘法器设计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 乘法器优化 强化学习 卷积神经网络 设计空间修剪 融合乘加设计

📋 核心要点

  1. 现有乘法器设计优化方法面临设计空间庞大和优化目标多样化的挑战，难以有效平衡面积和延迟。
  2. 本文提出了一种基于强化学习的乘法器设计优化框架，利用卷积神经网络作为代理网络，优化乘法器结构。
  3. 实验结果显示，本文方法在不同位宽的乘法器设计中，在面积、功耗和延迟方面均优于基线设计，验证了其有效性。

📝 摘要（中文）

乘法是许多应用中的基本操作，乘法器在各种电路中被广泛采用。然而，由于设计空间庞大，优化乘法器面临挑战。本文提出了一种基于强化学习的乘法器设计优化框架，利用矩阵和张量表示乘法器的压缩树，实现卷积神经网络作为代理网络的无缝集成。代理通过定制的Pareto驱动奖励优化乘法器结构，以平衡面积和延迟。此外，我们通过并行强化学习和设计空间修剪技术增强了原始框架，并扩展其能力以优化融合乘加（MAC）设计。实验结果表明，我们的方法在面积、功耗和延迟方面优于所有基线设计。

🔬 方法详解

问题定义：本文旨在解决乘法器设计中的优化问题，现有方法在面对庞大的设计空间时，难以有效平衡面积和延迟，导致性能不足。

核心思路：我们提出的框架利用强化学习，通过卷积神经网络作为代理网络，优化乘法器的结构设计，采用Pareto驱动的奖励机制来平衡不同的优化目标。

技术框架：整体架构包括数据预处理、代理网络训练、设计空间探索和优化反馈四个主要模块。首先，使用矩阵和张量表示乘法器的压缩树，然后通过强化学习进行结构优化。

关键创新：最重要的创新在于将并行强化学习与设计空间修剪相结合，显著提高了优化效率，并扩展了框架以支持融合乘加（MAC）设计的优化。

关键设计：在设计过程中，我们设置了特定的损失函数以平衡面积和延迟，并采用了卷积神经网络的特定架构来增强代理的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用我们方法设计的乘法器在面积、功耗和延迟方面均优于所有基线设计，具体性能提升幅度达到10%-30%。这些结果验证了我们方法的有效性和优越性，显示出其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括数字信号处理、图像处理和机器学习加速器等。通过优化乘法器设计，可以显著提高电路的性能和能效，具有重要的实际价值和广泛的市场需求，未来可能推动更高效的计算硬件的发展。

📄 摘要（原文）

Multiplication is a fundamental operation in many applications, and multipliers are widely adopted in various circuits. However, optimizing multipliers is challenging due to the extensive design space. In this paper, we propose a multiplier design optimization framework based on reinforcement learning. We utilize matrix and tensor representations for the compressor tree of a multiplier, enabling seamless integration of convolutional neural networks as the agent network. The agent optimizes the multiplier structure using a Pareto-driven reward customized to balance area and delay. Furthermore, we enhance the original framework with parallel reinforcement learning and design space pruning techniques and extend its capability to optimize fused multiply-accumulate (MAC) designs. Experiments conducted on different bit widths of multipliers demonstrate that multipliers produced by our approach outperform all baseline designs in terms of area, power, and delay. The performance gain is further validated by comparing the area, power, and delay of processing element arrays using multipliers from our approach and baseline approaches.