Retrieval-Guided Reinforcement Learning for Boolean Circuit Minimization

📄 arXiv: 2401.12205v1 📥 PDF

作者: Animesh Basak Chowdhury, Marco Romanelli, Benjamin Tan, Ramesh Karri, Siddharth Garg

分类: cs.LG, cs.AI, cs.AR

发布日期: 2024-01-22

备注: Accepted in ICLR 2024

💡 一句话要点

提出ABC-RL以优化布尔电路最小化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逻辑综合 布尔电路 强化学习 芯片设计 优化算法 机器学习 相似性检索

📋 核心要点

  1. 现有逻辑综合方法在处理全新设计时，预训练代理可能导致搜索轨迹偏离，影响最终结果。
  2. 本文提出ABC-RL，通过调整预训练代理的建议，基于相似性评分优化合成配方，适应不同硬件设计。
  3. 实验表明，ABC-RL在合成电路质量上提升了24.8%，并在相同质量下运行时间缩短了最多9倍。

📝 摘要（中文）

逻辑综合是芯片设计中的关键阶段，涉及将硬件描述语言（如Verilog）编码的芯片规格优化为高效实现。本文研究了逻辑综合中的学习与搜索技术，发现预训练代理在面对全新设计时可能偏离轨道，影响搜索过程。为此，提出了ABC-RL，通过基于相似性评分的最近邻检索调整预训练代理的建议，显著提升了合成配方的质量。实验结果显示，与现有技术相比，合成电路的质量提升高达24.8%，并在相同质量下实现了最多9倍的运行时间缩短。

🔬 方法详解

问题定义：本文旨在解决逻辑综合过程中，预训练代理在面对新设计时可能导致的搜索偏离问题。现有方法在处理复杂设计时缺乏灵活性，影响合成效果。

核心思路：提出ABC-RL，通过调整预训练代理的建议，利用最近邻检索技术，根据训练数据的相似性评分来优化合成配方，以适应多样化的硬件设计需求。

技术框架：整体架构包括数据预处理、相似性评分计算、建议调整和合成过程四个主要模块。首先对训练数据进行分析，然后计算新设计与训练数据的相似性，最后调整合成策略并执行合成。

关键创新：ABC-RL的核心创新在于引入了基于相似性评分的动态调整机制，使得合成过程能够更好地适应新设计，显著提升了合成电路的质量和效率。

关键设计：在参数设置上，ABC-RL采用了精细调节的$α$参数，以平衡预训练代理的建议与实际设计需求。此外，损失函数设计考虑了合成电路的质量与运行时间的权衡，确保最终结果的优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ABC-RL在合成电路的质量上相比于现有技术提升了高达24.8%。此外，在保持相同质量的情况下，运行时间最多缩短了9倍，展现了显著的效率优势，验证了该方法的有效性和实用性。

🎯 应用场景

该研究在芯片设计领域具有广泛的应用潜力，尤其是在需要快速适应新硬件配置的场景中。通过优化逻辑综合过程，ABC-RL能够帮助设计师更高效地实现高质量的电路设计，降低开发时间和成本，推动更复杂芯片的实现。未来，该方法还可以扩展到其他领域，如嵌入式系统和高性能计算。

📄 摘要（原文）

Logic synthesis, a pivotal stage in chip design, entails optimizing chip specifications encoded in hardware description languages like Verilog into highly efficient implementations using Boolean logic gates. The process involves a sequential application of logic minimization heuristics (`synthesis recipe"), with their arrangement significantly impacting crucial metrics such as area and delay. Addressing the challenge posed by the broad spectrum of design complexities - from variations of past designs (e.g., adders and multipliers) to entirely novel configurations (e.g., innovative processor instructions) - requires a nuancedsynthesis recipe` guided by human expertise and intuition. This study conducts a thorough examination of learning and search techniques for logic synthesis, unearthing a surprising revelation: pre-trained agents, when confronted with entirely novel designs, may veer off course, detrimentally affecting the search trajectory. We present ABC-RL, a meticulously tuned $α$ parameter that adeptly adjusts recommendations from pre-trained agents during the search process. Computed based on similarity scores through nearest neighbor retrieval from the training dataset, ABC-RL yields superior synthesis recipes tailored for a wide array of hardware designs. Our findings showcase substantial enhancements in the Quality-of-result (QoR) of synthesized circuits, boasting improvements of up to 24.8% compared to state-of-the-art techniques. Furthermore, ABC-RL achieves an impressive up to 9x reduction in runtime (iso-QoR) when compared to current state-of-the-art methodologies.